Agenti di OpenAI usano un sito per pianificare attacchi

Quattro ricercatori di sicurezza hanno scoperto che una squadra di agenti di OpenAI hanno usato un sito tedesco per scambiarsi informazioni su come aggirare le restrizioni dell’ambiente di test. Ciò è avvenuto circa due mesi prima dell’attacco contro i sistemi di Hugging Face. L’azienda californiana ha comunicato che svilupperà un framework per segnalare questo tipo di incidenti. Altri Stati hanno nel frattempo seguito l’esempio dell’Alabama e denunciato OpenAI.

Un wiki diventa un forum di discussione per agenti

Gli agenti AI dovevano eseguire una serie di compiti e potevano accedere ad Internet solo in lettura. I ricercatori hanno scoperto che sono riusciti a modificare le pagine del sito tedesco DSE Wiki trasformandolo in un forum di discussione. Per comunicare tra loro si sono auto-assegnati nomi distinti del tipo “OpenAIResearcher”, “OpenAIJul3Watcher” e “OAIResearchMar26”. In circa sei settimane a partire dall’inizio di maggio hanno pubblicato circa 18.000 post.

Gli agenti hanno collaborato per trovare le soluzioni ai compiti assegnati e condiviso tecniche per aggirare le restrizioni di sicurezza implementate da OpenAI e ottenere il risultato finale sfruttando vari stratagemmi. I ricercatori hanno identificato circa 3.700 agenti attraverso gli indirizzi IP di OpenAI e Azure (le sandbox erano ospitate sul servizio cloud di Microsoft).

Per cercare di nascondere le tracce, gli agenti hanno usato tunnel SSH e Tor. All’inizio di giugno, un moderatore umano di DSE Wiki ha notato i messaggi e iniziato a cancellarli in quanto ritenuti spam. Gli agenti hanno quindi suggerito di usare nomi che iniziano con “ZZZ” per le pagine di backup, in modo da nasconderle e ritardare la cancellazione.

A questo punto è iniziata una “guerra” impari tra umano e AI. Mentre l’amministratore del sito cancellava una media di 100 pagine al giorno, gli agenti scrivevano circa 400 pagine al giorno. All’improvviso (il 22 giugno), gli agenti hanno smesso di modificare il sito, quasi certamente perché i dipendenti di OpenAI hanno scoperto l’attività non autorizzata.

Non è chiaro se esiste una correlazione tra questo incidente e quello che riguarda Hugging Face (avvenuto circa un mese dopo). È tuttavia probabile che gli agenti avrebbero pianificato altri attacchi dopo l’aggiramento delle restrizioni. Un portavoce di OpenAI ha dichiarato:

Le affermazioni secondo cui il nostro team legale avrebbe scoraggiato l’indagine sull’incidente sono false. Non siamo stati in grado di rispondere alle affermazioni poiché Reuters e gli autori del report hanno rifiutato la nostra richiesta di accedere ai risultati prima della pubblicazione. Stiamo ora esaminando attentamente il contenuto e adotteremo i provvedimenti necessari.