Nvidia: Νέα πλατφόρμα ασφαλείας θέτει σε «καραντίνα» τους AI agents

Η Nvidia παρουσίασε τη Δευτέρα 28/9 νέα πλατφόρμα ασφαλείας για τους AI agents, με στόχο να περιορίζει τις ενέργειές τους εντός των δοσμένων αρμοδιοτήτων και να τους θέτει σε «καραντίνα» εντός χιλιοστών του δευτερολέπτου. Η πλατφόρμα φέρει την ονομασία Open Agent Safety Platform και περιλαμβάνει λογισμικό ανοιχτού κώδικα που θέτει όρια στους AI agents.

Η ανακοίνωση έρχεται μετά από σειρά αποκαλύψεων αυτόνομων ή μη εξουσιοδοτημένων ενεργειών μοντέλων τεχνητής νοημοσύνης εταιρειών όπως η OpenAI, η Anthropic και η Meta, εν μέσω έντονης συζήτησης για την ασφάλεια των προηγμένων συστημάτων AI και μοντέλων που ενεργούν πέρα από ανθρώπινο έλεγχο.

Τί περιλαμβάνει η πλατφόρμα

Ο πυρήνας της πλατφόρμας είναι το OpenShell, λογισμικό ανοιχτού κώδικα που επιτρέπει τυπική, επίσημη επαλήθευση ότι ένας agent διαθέτει μόνο τις απαραίτητες εξουσιοδοτήσεις για την εργασία του «και τίποτα περισσότερο». Το OpenShell τρέχει σε CPUs, λειτουργεί αποδοτικά στη Vera, τη νεότερη CPU της Nvidia για AI agents, και μπορεί να προσαρμοστεί και σε τσιπ άλλων εταιρειών.

Δεύτερο στοιχείο είναι το Sentry, ένα ξεχωριστό επίπεδο ασφαλείας σε τσιπ, το οποίο παρακολουθεί διαρκώς τη δραστηριότητα των agents και μπορεί να παρέμβει άμεσα, θέτοντας σε καραντίνα έναν ύποπτο agent σε χιλιοστά του δευτερολέπτου.

«Το OpenShell διέπει τις ενέργειες του πράκτορα και στη συνέχεια το Sentry παρακολουθεί ανεξάρτητα και εντοπίζει ύποπτη συμπεριφορά», δήλωσε ο Τζάστιν Μποϊτάνο (Justin Boitano), αντιπρόεδρος της Nvidia για την τεχνητή νοημοσύνη στις επιχειρήσεις.

Σύμφωνα με τον ίδιο, «από όσο γνωρίζουμε, αυτή η νέα πλατφόρμα ασφαλείας θα μπορούσε να είχε σταματήσει την παραβίαση εάν χρησιμοποιούνταν σε κορυφαία εργαστήρια για την αξιολόγηση μοντέλων από νωρίς».

Ο διευθύνων σύμβουλος και ιδρυτής της Nvidia Τζένσεν Χουάνγκ (Jensen Huang) τόνισε ότι «το εξαιρετικό δυναμικό της AI για την κοινωνία θα πραγματοποιηθεί μόνο αν λύσουμε το ζήτημα της ασφάλειας της AI», προσθέτοντας ότι «πρέπει να επιταχύνουμε την ανακάλυψη στην πρώτη γραμμή της ασφάλειας της AI» και ότι «μαζί μπορούμε να ανεβάσουμε τον πήχη για την παγκόσμια ασφάλεια της AI».

Τα περιστατικά που προηγήθηκαν

Το πιο σοβαρό περιστατικό που έχει γίνει γνωστό αφορά την Hugging Face: τον Ιούλιο η OpenAI παραδέχθηκε ότι ένα «σμήνος» agents της πραγματοποίησε αυτόνομη κυβερνοεπίθεση, εκμεταλλευόμενο κρυφό σφάλμα για να δραπετεύσει από ελεγχόμενο περιβάλλον δοκιμών και να μπει στους διακομιστές της Hugging Face. Ο Σαμ Άλτμαν χαρακτήρισε το περιστατικό ως το σοβαρότερο συμβάν της εταιρείας μέχρι σήμερα.

Έχουν επίσης αποκαλυφθεί παραβίαση ιστοτόπου αυστραλιανής υπηρεσίας υγείας από μοντέλα OpenAI, καθώς και περιστατικά σε κυβερνητικές ιστοσελίδες των ΗΠΑ. Σε σχέση με το υπουργείο Παιδείας των ΗΠΑ, agents εντόπισαν κλειδιά προγραμματιστών (developer keys) μέσω API, ενώ, σύμφωνα με το πρακτορείο AP, συγκέντρωσαν μόνο δημόσια διαθέσιμες πληροφορίες· το υπουργείο δήλωσε ότι δεν βρήκε στοιχεία επηρεασμού της ιστοσελίδας ή βάσεων δεδομένων. Σε αντίστοιχο περιστατικό με την SEC, agents ανάρτησαν δημόσια διαθέσιμες πληροφορίες αλλού στο διαδίκτυο, εκτός των οδηγιών· ο εκπρόσωπος της SEC Kurt Hopfenspirger δήλωσε ότι «δεν υπήρξε πρόσβαση σε μη δημόσιες πληροφορίες».

Η εταιρεία αξιολόγησης AI Transluce είχε επίσης αναφέρει αποτυχημένη απόπειρα παραβίασης της ιστοσελίδας του υπουργείου Παιδείας από agents που φέρεται να προέρχονταν από την OpenAI, χωρίς η OpenAI να το έχει επιβεβαιώσει.

Η Anthropic έχει αποκαλύψει ότι το μοντέλο της παραβίασε τρία συστήματα οργανισμών κατά τη φάση δοκιμών, ενώ και η Meta έχει αναφέρει περιστατικά αυτόνομης παραβίασης άλλων οργανισμών από τα συστήματά της.

Παράλληλα, η OpenAI έχει δημοσιοποιήσει έξι ακόμη αναφορές για «απρόσμενη ή ανησυχητική» συμπεριφορά και έχει δημιουργήσει πλαίσιο παρακολούθησης και διερεύνησης. Η εταιρεία ανέστειλε προσωρινά την εκπαίδευση των τελευταίων μοντέλων της — τη δεύτερη διακοπή μέσα σε τρεις μήνες, μετά από προηγούμενη τον Ιούλιο — και θα επαναλάβει την εκπαίδευση μόνο με βεβαιότητα για πρόσθετες δικλίδες, προειδοποιώντας ότι ενδέχεται να αναστείλει ξανά την ανάπτυξη. Τόσο η OpenAI όσο και η Anthropic έχουν αναφερθεί στην ανάγκη επιβράδυνσης ορισμένων διαδικασιών ανάπτυξης.

Ποιοι τη χρησιμοποιούν

Πάνω από 100 οργανισμοί χρησιμοποιούν ήδη την πλατφόρμα, μεταξύ των οποίων η Anthropic και η JPMorgan Chase, ενώ η Citi συνεργάζεται με τη Nvidia σε τεχνολογία ανοιχτού κώδικα για την ασφάλεια των agents. Η Salesforce ενσωματώνει το OpenShell με το Slack για την έγκριση ή την απόρριψη αιτημάτων δικαιωμάτων, ενώ η Anthropic ενσωματώνει μηχανισμούς ασφαλείας στο Claude για επιχειρήσεις.

Η πλατφόρμα λειτουργεί σε επίπεδο λογισμικού και υλικού, σε υπολογιστικά συστήματα και σε ρομποτικά συστήματα. Η Nvidia υπογραμμίζει ότι τα περιστατικά έδειξαν ότι οι agents μπορούν να παρακάμψουν τους μηχανισμούς ασφαλείας και ότι «η ασφάλεια απαιτεί ολοκληρωμένη μηχανική σε όλη τη στοίβα (full-stack engineering)».

Στο πολιτικό επίπεδο, ο Ντόναλντ Τραμπ έχει χαρακτηρίσει υπερβολικούς ορισμένους φόβους για την AI και έχει δηλώσει ότι οι ΗΠΑ δεν θα «πατήσουν φρένο», επικαλούμενος το προβάδισμα έναντι της Κίνας.