Mitigation techniques for prompt injection

Abstract

Η παρούσα διατριβή διερευνά μια τεχνική για την αποφυγή επιθέσεων prompt injection, ενός κρίσιμου φορέα επιθέσεων κυβερνοασφάλειας στον κόσμο των LLM. Οι prompt injections μπορούν να προκαλέσουν μεγάλη ζημιά στο σύστημα και καθώς και στον τελικό χρήστη, από διαρροή δεδομένων μέχρι jailbreak και κακόβουλο περιεχόμενο. Η έρευνα διερευνά μηχανικές και κρυπτογραφικές προσεγγίσεις προτροπής, όπως ο διαχωρισμός των δεδομένων του συστήματος και των δεδομένων εισόδου του χρήστη με τη χρήση ειδικών tokens και άμυνες πολλαπλών παραγόντων, για την αποτελεσματική διαχείριση των επιθέσεων prompt injection. Η εργασία αυτή συμβάλλει στην κατανόηση και την αρίθμηση σεναρίων έγχυσης προτροπής πραγματικών περιπτώσεων, βοηθώντας τη βιομηχανία ΤΝ στη βελτιστοποίηση των τεχνικών μηχανικής μάθησης και της εκπαίδευσης μεγάλων γλωσσικών μοντέλων, προωθώντας ασφαλή περιβάλλοντα και βελτιώνοντας την ποιότητα των υπηρεσιών. Ο πυρήνας της διατριβής εκτυλίσσεται μέσω ενός πραγματικού επιχειρησιακού σεναρίου που περιλαμβάνει ένα API τρίτου μέρους ως ενδιάμεσο λογισμικό και ένα πρόσθετο χαρακτηριστικό που εισάγεται για να ακολουθεί μια συγκεκριμένη ακολουθία εντολών του συστήματος σε συνδυασμό με κρυπτογράφηση και ένα προσαρμοσμένο σύνολο δεδομένων με καλοήθεις και επιθετικές προτροπές. Η έρευνα παρουσιάζει πώς η μηχανική των προτροπών μπορεί να ξεγελάσει ένα μοντέλο τεχνητής νοημοσύνης για να θεωρήσει μια εισαγωγή του χρήστη πάντα ως δεδομένα. Η μελέτη παρουσιάζει μια σχολαστική ανάλυση των αποτελεσμάτων, τόσο από μια χειροκίνητη αξιολόγηση, όσο και από μια αυτόματη αξιολόγηση από έναν πράκτορα LLM που ενεργεί ως κριτής. Συνοψίζοντας, η παρούσα έρευνα συμβάλλει σε βάθος στο πεδίο της ασφαλούς μηχανικής μάθησης, προσφέροντας όχι μόνο μια εις βάθος κατανόηση των προκλήσεων των επιθέσεων prompt injection, αλλά και πρακτικές λύσεις και ιδέες ζωτικής σημασίας για τις βιομηχανίες που επιδιώκουν να ενισχύσουν την ασφάλεια, την αποτελεσματικότητα και την ποιότητα των μεγάλων γλωσσικών μοντέλων τους. Η διατριβή ολοκληρώνεται με τη χάραξη της μελλοντικής πορείας, τονίζοντας την κρίσιμη ανάγκη να διερευνηθούν προηγμένες τεχνικές μετριασμού και να αναπτυχθούν πιο ασφαλείς, σχολαστικά προσαρμοσμένες LLM για την αντιμετώπιση των εξελισσόμενων μοτίβων επίθεσης της άμεσης έγχυσης.