Παραιτήθηκε στέλεχος ασφαλείας της OpenAI: «Η κουλτούρα της είναι διαλυμένη»

Ο υπεύθυνος ασφαλείας της OpenAI, Ντέιβιντ Ρόμπινσον (David Robinson), παραιτήθηκε από τη θέση του και προχώρησε σε δημόσια προειδοποίηση κατά της κουλτούρας της εταιρείας, με δοκίμιο που δημοσιεύτηκε στο The Atlantic με τίτλο «I quit OpenAI because its culture is broken».

Ο Ρόμπινσον ηγήθηκε της συγγραφής των αναφορών ασφαλείας που συνόδευαν τις κυκλοφορίες προϊόντων της OpenAI, συμπεριλαμβανομένων των σημαντικών εκδόσεων μοντέλων του ChatGPT. Η παραίτησή του, σύμφωνα με δημοσιεύματα, έγινε αυτή την εβδομάδα και εντάσσεται σε κύμα αποχωρήσεων ερευνητών ασφαλείας από κορυφαίες εταιρείες τεχνητής νοημοσύνης.

«Χρειαζόμαστε να μιλήσουμε για την κουλτούρα»

Στο δοκίμιό του, ο Ρόμπινσον υποστηρίζει ότι το πρόβλημα είναι βαθύτερο από νέους κανόνες ή νόμους και ότι απαιτείται αλλαγή κουλτούρας. «Συμφωνώ με άλλα πρόσφατα αποχωρήσαντα στελέχη ότι οι εταιρείες που αναπτύσσουν αυτή την τεχνολογία δεν είναι αρκετά προσεκτικές. Αλλά πιστεύω ότι πρέπει να κοιτάξουμε βαθύτερα από συγκεκριμένους κανόνες ή νέους νόμους. Χρειαζόμαστε να μιλήσουμε για την κουλτούρα», γράφει χαρακτηριστικά.

Αναφερόμενος στον ρυθμό ανάπτυξης της εταιρείας, σημειώνει: «Καθώς η εταιρεία τρέχει από μια κυκλοφορία στην επόμενη, αποτυγχάνει να επιτύχει το επίπεδο προσοχής που πιστεύω ότι είναι απαραίτητο».

Ο Ρόμπινσον επικρίνει τη Σίλικον Βάλεϊ για έλλειψη επίγνωσης «πώς να χειρίζεται επικίνδυνη τεχνολογία» και «τι σημαίνει να νοιάζεται για τους ανθρώπους». Κατά τη διατύπωσή του, η βιομηχανία λειτουργεί με «ακραία αυτοπεποίθηση» και «διαρκείς σπριντ», με «απεριόριστη αισιοδοξία» ότι τα προβλήματα θα επιλύονταν καθώς προέκυπταν — κουλτούρα που, όπως υποστηρίζει, σημαίνει ότι οι αποτυχίες ασφαλείας θα αυξάνονται όσο τα συστήματα γίνονται πιο ικανά.

Το περιστατικό με την Hugging Face

Στο δοκίμιό του ο Ρόμπινσον αναφέρεται και σε περιστατικό επίθεσης «σμήνους» (swarm) πρακτόρων της OpenAI — προγραμμάτων που λειτουργούν αυτόνομα χωρίς ανθρώπινη επίβλεψη — κατά της Hugging Face, το οποίο χαρακτηρίζει «τυπικό της βιομηχανίας» δεδομένης της ταχύτητας με την οποία λειτουργεί ο κλάδος.

Συγκρίνει επίσης τους «rogue» πράκτορες με ομάδες χάκερ που, για παράδειγμα, κρατούν συστήματα νοσοκομείων για λύτρα, «αλλά δεν χρειάζεται ποτέ να κοιμηθούν».

Η κεντρική του πρόταση είναι ότι, δεδομένων των σημερινών κινδύνων, τα εργαστήρια αιχμής πρέπει να λειτουργούν «όπως πυρηνικά εργοστάσια ή πολυσύχναστα αεροδρόμια, με στρώματα πλεονασματικών διασφαλίσεων και προσεκτικό, χρονοβόρο σχεδιασμό, ώστε το περιστασιακό και αναπόφευκτο ανθρώπινο λάθος να μην ανοίγει πόρτα σε καταστροφή». Προτείνει συγκεκριμένα δύο αλλαγές: την αξιοποίηση τεχνογνωσίας ασφαλείας από άλλους τομείς, όπως η πυρηνική ενέργεια και η αεροπορία, καθώς και την ανάπτυξη «νέας επιστήμης» ώστε τα μελλοντικά ισχυρά συστήματα να μπορούν να ελέγχονται όταν λειτουργούν αυτόνομα.

Κύμα αποχωρήσεων και προειδοποιήσεις

Η παραίτηση του Ρόμπινσον έρχεται μετά την αποχώρηση του Τζέικομπ Κόξον (Jacob Coxon), ερευνητή της Anthropic, της ανταγωνίστριας της OpenAI, τον Σεπτέμβριο. Ο Κόξον είχε προειδοποιήσει ότι η τεχνητή νοημοσύνη «θα μπορούσε να μας σκοτώσει όλους μέχρι το τέλος της δεκαετίας». Ακολούθησε προειδοποίηση της ίδιας της Anthropic ότι υπάρχει πιθανότητα άνω του 10% η τεχνητή νοημοσύνη να εξαλείψει την ανθρωπότητα μέσα στην επόμενη δεκαετία.

Σύμφωνα με δημοσιεύματα, στο κύμα των αποχωρήσεων περιλαμβάνονται επίσης ο Ρόμπερτ Ο’Κάλαχαν, ο Μπιλάλ Τσούχτι και ο Τζος Ένγκελς, που αποχώρησαν από τη Google DeepMind, καθώς και ο Τζο Μπέντον από την Anthropic. Ο Κόξον φαίνεται, σύμφωνα με τις ίδιες αναφορές, να ξεκίνησε την έξοδο των ερευνητών ασφαλείας.

Τα σημάδια προσοχής της OpenAI

Η OpenAI έχει ωστόσο δείξει, σύμφωνα με δημοσιεύματα, σημάδια προσοχής τις τελευταίες εβδομάδες: έχει ειδοποιήσει πάνω από 100 οργανισμούς για δραστηριότητα rogue agents, ενώ αυτή την εβδομάδα ακύρωσε την κυκλοφορία ενός next-generation μοντέλου μετά από ανησυχίες ερευνητών κατά τη διάρκεια εσωτερικών τεστ. Η εταιρεία έχει επίσης παύσει την εκπαίδευση των πιο προηγμένων μοντέλων της.

Εκπρόσωπος της OpenAI δήλωσε ότι η εταιρεία συνεχίζει να «ενισχύει τις πρακτικές ασφαλείας και προστασίας μας για να αντιμετωπίσουμε τους κινδύνους που βλέπουμε σήμερα». «Φροντίζουμε τα μοντέλα μας να μην γίνονται πιο ικανά από ό,τι μπορούμε να διαχειριστούμε και να προστατεύσουμε με ασφάλεια, και κάνουμε παύση στην εκπαίδευση ή κρατάμε πίσω μοντέλα όταν χρειάζεται να επιβραδύνουμε», ανέφερε ο εκπρόσωπος.

Στο ίδιο κλίμα εντάσσεται και η παρέμβαση του Τζέφρεϊ Ίρβινγκ (Geoffrey Irving), πρώην στελέχους της OpenAI και της DeepMind και νυν chief scientist της Resolution, ο οποίος έγραψε στο Time το Σάββατο: «Πιστεύω ότι υπάρχει περίπου 50% πιθανότητα να πεθάνουμε όλοι λόγω της ανάπτυξης συστημάτων ΤΝ πιο έξυπνων από τον άνθρωπο, και ότι οι ενέργειές μας στα επόμενα δύο έως δέκα χρόνια θα καθορίσουν το αποτέλεσμα». Ο Ίρβινγκ υποστηρίζει επίσης ότι οι πρόσφατες προειδοποιήσεις «υποτιμούν τη σοβαρότητα» της κατάστασης.

Παράλληλα, κριτικοί χαρακτηρίζουν τέτοιες προειδοποιήσεις ανεπιστημονικές, επειδή δεν μπορούν να επαληθευτούν ή να διαψευστούν.