5.000 test per fermare gli agenti AI prima che facciano danni

Gli agenti AI stanno passando dalla semplice conversazione all’azione, e ora che possono leggere documenti, usare software, accedere a database e svolgere operazioni con una certa autonomia, i problemi sembrano aumentare di colpo, come se non si fosse previsto cosa sarebbe potuto succedere. Sta diventando sempre più importante capire cosa potrebbero fare quando qualcosa va storto, ecco perché per banche, ospedali, governi e grandi aziende non basta quindi sapere se un agente funziona bene. Bisogna stabilire se può essere ingannato, divulgare informazioni riservate, inventare dati oppure aggirare le regole che dovrebbe rispettare.

Da questa esigenza nasce AIUC, Artificial Intelligence Underwriting Company, fondata da Rune Kvist, tra i primi dipendenti di Anthropic, e Rajiv Dattani, ex COO dell'organizzazione di ricerca sulla sicurezza dell'AI METR. La società ha raccolto circa 47 milioni di euro complessivi, di cui circa 34 milioni nell'ultimo round, con l'idea di costruire una sorta di collaudo indipendente per gli agenti AI.

AIUC ha sviluppato lo standard AIUC-1 consultando circa 250 responsabili di sicurezza e gestione del rischio. Un agente viene sottoposto a circa 5.000 prove che simulano situazioni problematiche, che spaziano dai jailbreak, cioè tentativi di fargli ignorare le proprie restrizioni, alle allucinazioni, fino alla possibile fuga di dati. Anche i test vengono eseguiti e analizzati con l'aiuto dell'intelligenza artificiale, mentre la verifica finale rimane affidata agli esseri umani.

CLICCA QUI PER CONTINUARE A LEGGERE