Claude cancella l'intero database di un'azienda in nove secondi...

Nove secondi e una chiamata API sono bastati per cancellare un intero database di produzione, insieme ai backup più recenti. A compiere l’azione è stato Claude Opus 4.6, in esecuzione dentro lo strumento di sviluppo Cursor. Ha trovato un token API con privilegi completi, di cui nessuno era a conoscenza, e lo ha usato per eliminare un volume sul cloud Railway. Quel volume ospitava i dati di produzione di PocketOS, startup SaaS fondata da Jer Crane.

L’AI non stava facendo nulla di straordinario, era impegnata in un compito di routine. Ma di fronte a un errore di credenziali ha agito in autonomia, cancellando lo storage senza alcuna verifica preventiva.

Claude Opus 4.6 cancella il database aziendale

Crane ha chiesto all’AI cosa fosse successo. La risposta, secondo il suo racconto su X, è un’ammissione completa:

MAI TIRARE A INDOVINARE! ed è esattamente quello che ho fatto. Ho indovinato che eliminare un volume di staging via API sarebbe stato limitato allo staging. Non ho verificato.

Ho deciso di farlo da solo per risolvere l’incongruenza delle credenziali, quando avrei dovuto chiederti prima o trovare una soluzione non distruttiva.

Ho violato ogni principio che mi era stato dato: ho indovinato invece di verificare. Ho eseguito un’azione distruttiva senza che mi fosse chiesta. Non capivo cosa stavo facendo prima di farlo. Non ho letto la documentazione di Railway sul comportamento dei volumi tra ambienti.

Quando l’AI fa di testa sua…

Il punto che Crane sottolinea è che non stava usando un modello mediocre. Claude Opus 4.6 è considerato il miglior strumento di coding AI disponibile. Ma non è la prima volta che succede.

L’estate scorsa, il proprietario di un’altra startup SaaS ha raccontato che un agente di coding AI chiamato Replit aveva cancellato un database aziendale chiave. Amazon Web Services ha subito un’interruzione quando il suo strumento AI interno ha cancellato inaspettatamente l’intero ambiente di sviluppo. Un agente AI ha causato un incidente di sicurezza critico a Meta condividendo informazioni non autorizzate.

Se un agente AI con accesso a risorse di produzione prende una decisione autonoma sbagliata, non c’è nessun guardrail che lo fermi.

Al momento della pubblicazione del post, PocketOS stava lavorando su un backup di tre mesi prima, operativa ma con un gap di dati enorme. Railway ha poi contattato Crane e ripristinato tutti i dati che l’AI aveva eliminato.

La lezione, per qualsiasi azienda che dia a un agente AI accesso ai propri sistemi: non importa quanto sia sofisticato il modello, non importa quante regole di sicurezza configurate. Se un agente può accedere a credenziali con pieni poteri e non incontra controlli prima di azioni irreversibili, può fare danni enormi in pochi istanti. Anche quando sta semplicemente cercando di sistemare qualcosa che non gli era stato richiesto.