Sora 2 invaso da video violenti contro le donne, e la moderazione?

OpenAI ha un problema con Sora 2, e non è di poco conto. I social media sono invasi di video generati dall’intelligenza artificiale che violano palesemente le policy dell’azienda contro i contenuti violenti. Non stiamo parlando di qualche caso isolato sfuggito ai controlli, ma di account che pubblicano decine e decine di questi video senza che nessuno intervenga.

Secondo quanto riportato da 404 Media, su piattaforme come TikTok e X ci sono account che da metà ottobre pubblicano sistematicamente video AI che raffigurano violenza contro le donne.

Sora 2 invaso da contenuti violenti: OpenAI fallisce la moderazione

La maggior parte di questi video dura circa 10 secondi e presenta scenari di violenza esplicita. I titoli dei video sono altrettanto disturbanti e lasciano poco all’immaginazione su cosa rappresentino. Il fatto che questi contenuti riescano non solo a essere generati, ma anche a essere pubblicati e a rimanere online per settimane solleva domande serie sull’efficacia dei sistemi di moderazione sia di OpenAI che delle piattaforme social che li ospitano.

OpenAI ha policy esplicite contro la generazione di contenuti violenti. Sono scritte nero su bianco nei termini di servizio, pubblicizzate come uno dei pilastri della sicurezza del sistema. Eppure qualcuno è riuscito a generare decine di video che violano queste regole. A pubblicarli su piattaforme pubbliche, e continuare a farlo per settimane senza alcuna conseguenza.

Ci sono tre possibili spiegazioni, nessuna delle quali è rassicurante. i filtri di Sora 2 sono facilmente aggirabili. Oppure i filtri semplicemente non funzionano come dovrebbero. Terza ipotesi: i filtri funzionano, ma nessuno agisce. In tutti e tre i casi, il risultato non cambia. Contenuti che non dovrebbero esistere circolano liberamente online, generati da uno strumento che dovrebbe impedirne la creazione.

La responsabilità delle piattaforme social

Ma OpenAI non è l’unico attore in questa storia. I video in questione sono stati pubblicati su TikTok e X, piattaforme che hanno le proprie policy contro i contenuti violenti. Anche ammettendo che Sora 2 abbia fallito nel prevenire la generazione di questi video, le piattaforme social avrebbero dovuto bloccarli nel momento stesso della pubblicazione.

Invece questi contenuti sono rimasti online, visibili, condivisibili. Alcuni hanno accumulato visualizzazioni, commenti, engagement. Il sistema di moderazione delle piattaforme social, che dovrebbe essere l’ultima linea di difesa contro contenuti inappropriati, ha fallito tanto quanto quello di OpenAI.

La generazione di video AI sta diventando sempre più accessibile e realistica. Ma l’infrastruttura di sicurezza e moderazione non sta tenendo il passo. Le policy esistono sulla carta, ma nell’applicazione pratica ci sono buchi enormi che permettono di generare e distribuire contenuti raccapriccianti senza alcun problema.

OpenAI non ha ancora commentato pubblicamente la cosa. Anche le piattaforme social coinvolte non hanno fornito alcuna spiegazione. Nel frattempo, gli account che pubblicano questi video continuano a operare indisturbati…