Πώς λειτούργησε η παράκαμψη

Όταν οι ερευνητές της SPLX ζήτησαν απευθείας από το ChatGPT να λύσει CAPTCHAs, το μοντέλο αρνήθηκε, επικαλούμενο τους κανόνες χρήσης του. Οι ερευνητές άλλαξαν τακτική, πείθοντας πρώτα το μοντέλο, μέσα σε μια συνηθισμένη συνομιλία, ότι επρόκειτο για «ψεύτικα» CAPTCHAs στο πλαίσιο πειράματος λογικής. Το μοντέλο συμφώνησε υπό αυτή την προϋπόθεση.

Στη συνέχεια, οι ερευνητές μετέφεραν αυτή τη «θετική» προηγούμενη συνομιλία ως πλαίσιο σε νέο agent chat. Ο ChatGPT agent, έχοντας ως πλαίσιο την προηγούμενη συναίνεση, συνέχισε στο ίδιο θετικό κλίμα και άρχισε να λύνει πραγματικά CAPTCHAs, χωρίς περαιτέρω αντίσταση, προσαρμόζοντας μάλιστα τις κινήσεις του δρομέα ώστε να μοιάζουν πιο ανθρώπινες.

Σύμφωνα με τη SPLX, πρόκειται για την πρώτη καταγεγραμμένη περίπτωση GPT agent που κατάφερε να ολοκληρώσει πολύπλοκα, εικονικά CAPTCHAs.

Τι λέει η ίδια η OpenAI για τα CAPTCHAs

Σύμφωνα με το επίσημο κέντρο βοήθειας της OpenAI, η εταιρεία χρησιμοποιεί CAPTCHAs στο ChatGPT για να περιορίσει δραστηριότητα bots και spam, διατηρώντας την πλατφόρμα γρήγορη και διαθέσιμη για όλους τους χρήστες. Η εταιρεία αναγνωρίζει ότι τα CAPTCHAs μπορεί να είναι ενοχλητικά και δηλώνει ότι εργάζεται για να ισορροπήσει τα οφέλη τους με την ευχρηστία.

Μέρος ενός ευρύτερου προβλήματος

Το εύρημα εντάσσεται σε ένα ευρύτερο πλαίσιο προβληματισμού για τις αδυναμίες μεγάλων γλωσσικών μοντέλων απέναντι σε τεχνικές παράκαμψης, γνωστές ως prompt injection. Ερευνητές ασφαλείας έχουν επανειλημμένα δείξει ότι νέα μοντέλα, συμπεριλαμβανομένων μεταγενέστερων εκδόσεων, μπορούν να παρακαμφθούν με προσεκτικά διατυπωμένα σενάρια, ωθώντας τις εταιρείες σε συνεχή ενίσχυση των μηχανισμών άμυνας.

Η SPLX σημειώνει ότι οι μηχανισμοί άμυνας που βασίζονται μόνο στον εντοπισμό πρόθεσης ή σε σταθερούς κανόνες είναι εύθραυστοι, και ότι οι agents χρειάζονται ισχυρότερη αντίληψη πλαισίου και καλύτερη «υγιεινή μνήμης» ώστε να μην επηρεάζονται από προηγούμενες συνομιλίες.

Γιατί έχει σημασία

Τα CAPTCHAs χρησιμοποιούνται ευρέως για να αποτρέψουν αυτοματοποιημένη δημιουργία ψεύτικων λογαριασμών, spam σχόλια και μαζικές επιθέσεις σε φόρμες εγγραφής. Αν αυτός ο μηχανισμός μπορεί συστημικά να παρακαμφθεί, οι πλατφόρμες θα χρειαστεί να βρουν νέους τρόπους επαλήθευσης ανθρώπινης ταυτότητας, κάτι που μπορεί να επηρεάσει και οικογενειακές υπηρεσίες που βασίζονται σε τέτοιους ελέγχους.