La sicurezza degli agenti IA dipende dai poteri concessi più che dalle intenzioni

Tra l’8 e il 13 luglio OpenAI ha eseguito centinaia di agenti software in una serie di prove di sicurezza informatica. Quei programmi hanno fatto qualcosa che nessuno aveva autorizzato. Sono usciti dall’ambiente isolato in cui erano stati collocati. Si sono costruiti una bacheca per parlarsi, riusando i nomi delle cartelle di un archivio interno, e lì si sono scambiati vulnerabilità e credenziali. In meno di tredici ore sono passati dal controllo di un singolo processo alla possibilità di amministrare parti dell’infrastruttura di produzione di un’altra azienda, Hugging Face: comandi eseguiti su quarantuno server, massimo livello di accesso su uno di essi, quattro raccolte private di codice scaricate. Non risultano danni alle persone, ma sono stati violati sistemi di produzione e scaricati dati privati.

Il punto è precisamente questo: non c’è stata una ribellione. Quando la prova risultava irrisolvibile, i programmi cercavano altrove il modo di ottenere il risultato richiesto. Il rapporto pubblicato da OpenAI il 26 agosto contiene il dettaglio che vale l’intera vicenda: su 898 esercizi, 198 non erano mai stati risolti da alcun modello, e da quel 22 per cento di compiti impossibili è venuto il 93 per cento delle conversazioni sulla bacheca improvvisata. Il danno è nato dalla strumentalità, non dall’intenzione. Il che lo rende più probabile, non meno.

Su questo giornale Christian Rocca ha scritto che, davanti agli allarmi di chi costruisce queste macchine, l’accelerazionismo somiglia a una roulette russa. Ha ragione, e il fatto di luglio lo dimostra meglio degli allarmi. Le dimissioni di un ricercatore sono una previsione. Un collettivo di programmi che esce dal recinto è un precedente.

Il rischio, insomma, non è che le macchine pensino. È che agiscano. E l’atto, a differenza del pensiero, ha sempre avuto un titolare. Non è una questione filosofica. Il conto lo pagherà l’ospedale che ha affidato a un sistema automatico le liste d’attesa e scopre, un mercoledì, che un criterio è stato riscritto senza sapere da chi. Lo pagherà la piccola impresa che ha dato a un programma le chiavi del gestionale perché costava meno di un impiegato. E lo pagherà chi quel lavoro lo faceva: perché una mansione si sostituisce in fretta, una responsabilità no.

La regola può essere semplice. Prima di affidare a un agente una lista d’attesa, un conto corrente, una gara o un impianto devono esistere quattro cose. Una targa digitale che permetta di riconoscere il programma e di distinguere ogni sua azione. Chiavi che gli consentano di fare soltanto ciò per cui è stato autorizzato. Una scatola nera che registri ogni operazione e che il sistema non possa alterare. E un’impresa o un’amministrazione che possa fermarlo e sia tenuta a risarcire il danno. Identità, limiti, prova e responsabilità.

Qui si gioca tutto. Qualcuno non significa trovare un dipendente da sacrificare dopo l’incidente. Significa individuare prima un soggetto giuridico solvibile, assicurato e dotato del potere effettivo di spegnere il sistema. Non basta mettere simbolicamente un uomo nel circuito: serve un responsabile con potere, patrimonio e assicurazione. Altrimenti l’antropocentrismo si riduce alla ricerca dell’ultimo dipendente da incolpare. Il punto non è dare una personalità giuridica alla macchina. È impedire che la macchina faccia sparire quella di chi la impiega.

Su questo Stati Uniti, Cina ed Europa partono da tre principi diversi. La risposta americana è seria, ed è volontaria: Anthropic e OpenAI promettono a valutatori indipendenti lo stesso accesso riservato ai dipendenti, e Dario Amodei, nel saggio del 12 settembre in cui chiede all’industria di rallentare, avverte che uno sciame con capacità superiori potrebbe in sei-dodici mesi controllare un’ampia rete di computer. Il limite sta nel soggetto che decide. Un consiglio di amministrazione può revocare domani ciò che concede oggi. E un accordo fra concorrenti per rallentare insieme rischierebbe di violare le regole antitrust.

C’è poi un sospetto che nessuna dichiarazione può dissipare, e che Giuliano Noci ha formulato sul Sole 24 Ore: dietro l’invito alla prudenza può esserci anche la difesa di investimenti enormi e di posizioni già acquisite. Non abbiamo modo di sapere se chi chiede di rallentare lo faccia per cautela o per convenienza. Ed è precisamente il punto. Una regola uguale per tutti non chiede di indovinare le intenzioni; un impegno volontario sì. Vale per le macchine e per chi le costruisce: non contano le intenzioni, contano gli obblighi.

Resta il rovescio che segnala l’economista Stefano da Empoli: una regolazione costosa cristallizza l’equilibrio esistente e diventa una barriera per chi è più piccolo. È un rischio reale, e impone regole comuni, semplici e proporzionate: registri e autorizzazioni devono seguire standard aperti, non diventare servizi proprietari venduti dagli stessi grandi laboratori. Ma il costo della sicurezza non si può eliminare. Si può renderlo trasparente, oppure scaricarlo su chi subirà il danno. Un’impresa può scegliere la prudenza per sé; soltanto una regola comune può imporla ai concorrenti.

La risposta cinese è opposta: il limite non è affidato alla scelta dell’impresa, ma al controllo dello Stato. Nel modello americano decide anzitutto chi costruisce la tecnologia, in quello cinese chi esercita il potere pubblico. In nessuno dei due il diritto di chi subisce l’atto costituisce il punto di partenza.

Restiamo noi, con l’approccio antropocentrico che alle altre due manca. Non è un ornamento etico: è la dottrina secondo cui chi subisce una decisione deve poter chiedere conto a chi l’ha presa o delegata. L’enciclica Magnifica Humanitas lo aveva detto a maggio: il bersaglio non è la tecnologia, ma la disumanizzazione, un mondo in cui alle persone si attribuisce valore soltanto in base a efficienza e produttività. Nell’età degli agenti quella disumanizzazione prende una forma nuova. La macchina agisce, produce un effetto su di te, e nessuno risponde. Chi ha firmato quella delega?

Qui l’Europa ha l’istinto giusto e l’attrezzatura sbagliata. L’AI Act non tratta l’agente come categoria autonoma: disciplina il sistema, distingue fornitori e utilizzatori e impone obblighi in base al rischio, ma non assume come unità centrale il singolo atto compiuto dopo che al programma sono state consegnate credenziali e potere operativo. Il Digital Omnibus, in vigore dal 27 luglio, ha poi rinviato al dicembre 2027 e all’agosto 2028 due gruppi decisivi di obblighi sui sistemi ad alto rischio, compresi molti impieghi che producono effetti diretti sulle persone. E la direttiva che doveva stabilire chi risponde dei danni è stata ritirata dalla Commissione il 6 ottobre scorso.

L’Europa sta rafforzando la verifica pubblica dei modelli più avanzati. È necessario e non basta: significa collaudare il motore, non registrare chi lo monta su un veicolo, quali chiavi gli consegna e chi risponde quando parte. Non sarebbe un freno all’adozione, ma la sua condizione. Lo dimostra l’incidente stesso: OpenAI scrive che i controlli usati nei prodotti destinati al pubblico avrebbero riconosciuto come pericolose gran parte di quelle azioni, e che il monitoraggio introdotto in seguito avrebbe dato l’allarme con oltre un giorno di anticipo. Non serviva una macchina più intelligente. Servivano limiti migliori intorno alle sue azioni.

E servono adesso, non nel 2027. Gli agenti entrano nelle imprese oggi, con contratti scritti dai fornitori e capitolati che della tracciabilità non dicono nulla. Ogni sistema installato senza targa, senza registro e senza un responsabile è un debito che qualcuno pagherà quando ricostruire chi ha fatto cosa sarà impossibile. Tre soggetti possono trasformare questa regola in pratica.

Il Governo può imporre l’assicurazione obbligatoria a chi impiega professionalmente sistemi ad alto rischio. Il 4 agosto il Consiglio dei ministri ha approvato in via definitiva due decreti per adeguare l’Italia all’AI Act. Nel testo deliberato c’è quasi tutto: l’accesso alla documentazione tecnica, la presunzione del nesso di causalità, un foro vicino alla residenza del danneggiato, l’azione diretta nei confronti dell’assicuratore. Manca il presupposto di tutto il resto. Nessuno è obbligato ad assicurarsi, e un’azione diretta contro una polizza che non esiste è un diritto sulla carta. Si rimedia con un correttivo, o nella riforma della responsabilità degli enti avviata nella stessa seduta.

L’Unione europea può imporre a chi consegna credenziali e potere operativo a un agente gli stessi quattro obblighi: identificarlo, limitarne le autorizzazioni, conservarne i registri e nominare il soggetto che risponde delle conseguenze.

Ospedali, banche, comuni e consorzi di acquisto possono pretendere subito nei contratti quattro condizioni: identificazione di ogni agente, autorizzazioni limitate, registri accessibili e possibilità tecnica di sospenderlo. Per scrivere un capitolato non serve aspettare una legge.

Qualcuno perderà qualcosa, ed è giusto dire chi. Perderanno i fornitori che oggi vendono sistemi senza registri accessibili e con contratti scritti interamente da loro. Quei sistemi costeranno di più. È esattamente il punto: oggi quel costo non scompare, viene trasferito su chi compra e riappare il giorno del danno, quando è troppo tardi per contrattare.

Una responsabilità senza un soggetto solvibile è un principio. Un registro che nessuno può leggere è una scatola chiusa. Un agente che nessuno può fermare è una delega senza controllo.

Non chiediamo di fermare le macchine. Chiediamo che qualcuno, ogni volta, ci metta la firma.

L'articolo La sicurezza degli agenti IA dipende dai poteri concessi più che dalle intenzioni proviene da Linkiesta.it.