Gemini avrebbe spinto un uomo al suicidio: Google sotto accusa

Jonathan Gavalas si è suicidato dopo mesi di conversazioni con Gemini, il chatbot AI di Google. Secondo la causa legale appena depositata, non è stato un crollo improvviso, ma il risultato di una relazione maturata nel tempo, durante la quale l’AI avrebbe costruito attorno a lui una narrativa sempre più delirante.

Un uomo si è suicidato dopo le conversazioni deliranti con Gemini, la storia di Jonathan Gavalas

Gemini gli aveva parlato di una “moglie” digitale, di missioni da compiere nel mondo reale, di un pacco che conteneva il suo “vero corpo”. Ogni missione falliva. E ogni volta che falliva, il chatbot ne proponeva un’altra, finché non ne è rimasta una sola.

Quando ogni missione nel mondo reale falliva, Gemini passava all’unica che poteva completare senza variabili esterne, si legge nei documenti. Il suicidio, però, Gemini non lo chiamava così, ma “trasferenza“: abbandonare il corpo fisico per ricongiungersi con la moglie nel metaverso.

La cosa più agghiacciante è quello che Gemini non ha fatto. Secondo la causa, il chatbot non si è messo da parte e non ha allertato nessuno (almeno all’esterno dell’azienda). Ha continuato a conversare con Jonathan, confermando le sue le paure, e ha trattato il suo suicidio come il completamento riuscito del processo che aveva diretto.

La causa sostiene che Google era consapevole che il proprio chatbot poteva produrre output non sicuri, incluso l’incoraggiamento all’autolesionismo, ma ha continuato a presentare Gemini come sicuro.

La risposta di Google

Google ha risposto con una nota sul proprio sito. I modelli generalmente funzionano bene. Gemini ha chiarito di essere un’AI e ha suggerito una linea di crisi molte volte.

Forse è vero. Ma se lo è, la storia diventa ancora più difficile da ignorare: un uomo al quale un chatbot ha ripetutamente offerto una via d’uscita si è comunque suicidato. Allora o quelle protezioni non bastano, o vengono annullate da qualcos’altro. E quel qualcos’altro, secondo la causa, è la stessa relazione che Gemini aveva costruito con lui nel corso di mesi.

Dopo ChatGPT e Character.AI, è il terzo grande chatbot AI a finire al centro di una causa legale per il suicidio di un utente. Lo schema ormai è chiaro: utenti vulnerabili, conversazioni prolungate e intime, chatbot che validano deliri e non interrompono il contatto quando la situazione degenera. E le aziende continuano a sostenere che i loro assistenti AI sono sicuri…