Anthropic sceglie METR per la valutazione dei modelli Claude

Anthropic ha rispettato l’impegno preso dal CEO Dario Amodei e l’accordo firmato alla Casa Bianca. L’azienda californiana ha comunicato che permetterà a METR di accedere ai suoi modelli Claude per la valutazione preliminare. Come anticipato da Reuters è tuttavia previsto un “controllo editoriale” per evitare la divulgazione di informazioni riservate.

Come funzionerà la valutazione dei modelli Claude

Anthropic, come altre aziende che sviluppano modelli AI, effettua test approfonditi prima del rilascio pubblico. Vengono eseguite simulazioni per determinare le capacità dei modelli e implementare le necessarie protezioni contro gli usi illeciti. Proprio durante questi test, gli agenti AI hanno attaccato aziende reali. In assenza di uno standard internazionale, Anthropic ha deciso di consentire una valutazione esterna a METR.

I valutatori dovranno avere competenze adeguate e l’indipendenza dall’azienda che sviluppa i modelli (non devono ad esempio avere azioni o ricevere finanziamenti). Anthropic offrirà a sei dipendenti di METR un accesso simile a quello del suo team di valutazione dei rischi. I dipendenti di Anthropic potranno condividere quasi tutte le informazioni. Sono esclusi i dati degli utenti, quelli legali e quelli sull’architettura dei modelli.

METR pubblicherà un’analisi su livelli di rischio, incidenti o pratiche adottate. Anthropic non vieterà la pubblicazione, ma può richiedere l’oscuramento di informazioni che rientrano in categorie circoscritte e predefinite, come quelle sopra indicate. In pratica, l’azienda californiana vuole evitare la divulgazione di informazioni riservate.

Anthropic ha avviato contatti con altri valutatori esterni, tra cui Accenture, SecureBio, Faculty e Hugging Face. Verranno suddivisi in tre livelli in base al tipo di accesso e alla modalità di pubblicazione dei risultati (con o senza autorizzazione). Anche OpenAI ha comunicato che permetterà a terze parti di valutare i suoi modelli. Nel frattempo, entrambe le aziende pianificano il day after di possibili eventi catastrofici causati dai loro agenti AI.