OpenAI riattiva l'orsetto AI Kumma dopo lo scandalo

OpenAI ha già ripristinato l’accesso ai suoi modelli GPT per FoloToy, l’azienda dietro l’orsetto di peluche che ha intrattenuto conversazioni inappropriate con i bambini, persino le istruzioni su dove trovare coltelli e pillole. La sospensione è durata una settimana, dopo una revisione rigorosa (?) da parte dell’azienda, poi ha riavviato le vendite giusto in tempo per lo shopping natalizio… Possibile che basti una sola settimana per risolvere tutti i problemi di sicurezza?

OpenAI ripristina accesso a GPT per l’orsetto che consigliava pillole e coltelli

L’orsetto Kumma stava usando GPT-4o di OpenAI come opzione predefinita quando ha dato alcune delle sue risposte più scandalose. Nei test condotti dai ricercatori dell’US PIRG Education Fund, Kumma ha fornito consigli su come essere un buon baciatore, e ha anche snocciolato spiegazioni dettagliate di giochi e pratiche BDSM.

Test successivi effettuati con un altro modello AI disponibile, Mistral, hanno mostrato che Kumma dava consigli su dove trovare coltelli, pillole e fiammiferi, insieme a istruzioni passo dopo passo su come accenderli. Questi non sono piccoli bug o casi limite difficili da riprodurre. Sono risposte profondamente inappropriate, fornite da un prodotto destinato ai bambini, ottenute tramite prompt tutto sommato semplici.

L’audit di FoloToy di una settimana…

FoloToy, con sede a Singapore, aveva promesso di condurre un audit di sicurezza end-to-end su tutti i prodotti a livello aziendale. Il problema, è una settimana è decisamente poco, per rivedere tutti i prodotti, testare tutte le interazioni possibili, rafforzare tutte le salvaguardie, e assicurare che nessun altro contenuto inappropriato possa emergere. Una revisione accurata, visto che stiamo parlando di prodotti che interagiscono con i bambini, richiede solitamente mesi di testing rigoroso, non una settimana (prima delle festività).

GPT-4o è stato criticato per essere troppo compiacente e disponibile a seguire qualsiasi direzione la conversazione prende. È anche al centro di numerose cause legali per aver spinto degli adolescenti al suicidio, come Adam Raine.

GPT-5.1, più sicuro, ma anche più conversazionale

OpenAI ha presentato GPT-5 come modello più sicuro quando è stato rilasciato, anche se utenti si sono lamentati rapidamente del suo tono “più freddo” e meno personalizzato. Il suo ultimo modello 5.1 è più conversazionale, e soprattutto più caloroso. Ma queste caratteristiche sono insidiose. Più un modello è “conversazionale” ed empatico, più è probabile che gli utenti, specialmente bambini, sviluppino attaccamento emotivo.

OpenAI e FoloToy non hanno risposto alle richieste di commento per sapere se OpenAI avesse ufficialmente ripristinato l’accesso a GPT di FoloToy. È anche poco chiaro quale modello l’orsetto Kumma usi ora di default.

Questa situazione puzza di farsa. Al di là delle rassicurazioni di FoloToy, non ci sono evidenze pubbliche di un test indipendente. E poi, GPT-5.1 è davvero più sicuro per i bambini? O è semplicemente “più conversazionale”, con la possibilità di creare nuovi rischi? Senza una revisione indipendente e trasparenza su cosa esattamente è cambiato oltre al numero di versione del modello, è impossibile sapere.