Claude Sonnet 5 rifiuta i compiti e dà consigli fuori luogo

Sulla carta Sonnet 5 è il miglior modello mai realizzato da Anthropic. Nella pratica, c’è chi racconta di aver chiesto un semplice controllo tra fatture e ordini d’acquisto e di essersi ritrovato accusato di voler commettere una frode. Altri segnalano risposte incoerenti, ragionamenti forzati pur di evitare di dare ragione all’utente e consigli fuori contesto, come l’invito ad andare a dormire.

Anthropic aveva descritto Sonnet 5 come il suo modello migliore di sempre. I benchmark sembrano confermarlo, ma Reddit è inondato di lamentele.

Sonnet 5 è davvero il miglior modello di Anthropic?

La lamentela più diffusa è che Sonnet 5 rifiuta di eseguire i compiti. Invece di fare ciò che gli viene chiesto, entra in un ciclo infinito di obiezioni, correzioni e disaccordo. Un utente ha scoperto che le istruzioni interne del modello includono indicazioni di essere onesto, non essere ciecamente d’accordo, essere disposto a obiettare o offrire correzioni. Il risultato è il modello cerca qualcosa su cui dissentire a ogni risposta, per non sembrare servile. La cura per l’adulazione è diventata la malattia opposta.

Alcuni utenti sospettano che Sonnet 5 indirizzi i compiti a sotto-agenti multipli, che spesso sottoperformano e producono risultati di qualità inferiore. Il costo in token aumenta. La qualità dell’output cala. Una situazione peggiore su entrambi i fronti.

Perdita di contesto e consigli non richiesti

Gli utenti lamentano anche la perdita di contesto dopo 2-3 prompt in una conversazione nuova. Risposte piene di disclaimer e riserve. E l’abitudine di dire agli utenti di andare a dormire, che esisteva anche nelle versioni precedenti, ma che con Sonnet 5 sembra più frequente.

Evidentemente, Anthropic ha a cuore la salute dei suoi utenti… Ma quando un chatbot manda a letto mentre si sta cercando di lavorare, la premura diventa irritazione.

La lotta contro l’adulazione era una delle promesse principali di Anthropic. Ma Sonnet 5 dimostra quanto sia difficile trovare il giusto equilibrio, invece di limitarsi a essere più critico, in alcuni casi sembra diventare eccessivamente diffidente. L’obiettivo non dovrebbe essere né dare sempre ragione né sospettare sempre il peggio. Dovrebbe essere capire il contesto. E a quanto pare, non ci siamo ancora.