Perché ChatGPT sembra intelligente senza esserlo davvero

Redazione

Mar 27, 2026 - 13:30

Perché ChatGPT sembra intelligente senza esserlo davvero

Nel campo delle tecnologie del linguaggio, i modelli linguistici neurali hanno migliorato molte applicazioni, tra cui la trascrizione e la traduzione automatiche. In confronto ai modelli n-gram, queste gestiscono in modo molto più armonico la dispersione dei dati (come il dover classificare si pavoneggiava rispetto ad annusava in termini di possibilità di cosa viene dopo la veloce volpe fulva quando nessuno dei due termini è presente nel corpus).

Una delle ragioni per cui questo avviene è il modo in cui i modelli linguistici neurali consentono la rappresentazione delle parole non sulla base della sequenza di caratteri usati per scriverle ma a partire dalle co-occorrenze con altre parole. Questi cosiddetti “embeddings” (’incorporamenti’) fanno sì che parole simili (come gatto, cane, coniglio, criceto e altre parole che si riferiscono agli animali domestici, oppure correre, balzare, pavoneggiarsi e altre parole che indicano movimento) siano rappresentate in modo simile, anche se sono scritte in modo diverso. Questo a sua volta comporta che le informazioni su queste parole possono essere aggregate.

Un’altra caratteristica importante dei modelli linguistici neurali è che possono espandersi grazie a corpora di addestramento (e set di percettroni) molto più grandi. Un primo modello linguistico neurale fondamentale è stato il sistema BERT, sviluppato da Google for English nel 2018. Il modello iniziale di BERT disponeva di 340 milioni di parametri (i pesi tra le connessioni dei percettroni) ed era stato addestrato su 3,3 miliardi di parole provenienti da testi. Non sono numeri da poco, ma sono già stati completamente eclissati. Nel luglio 2024, Meta ha rilasciato Llama 3.115, che ha 405 miliardi di parametri ed è stato addestrato su più di 15 bilioni di parole.

Il passo successivo verso la creazione di ChatGPT e altri chatbot simili basati su modelli linguistici ha implicato l’uso di una tecnologia progettata per la classificazione e il suo completo stravolgimento: invece che classificare sequenze diverse come più o meno probabili, un modello linguistico generativo è progettato per scegliere una parola probabile sulla base di un dato input, per usare poi l’input iniziale più la parola scelta come input successivo, quindi scegliere un’altra parola probabile come successiva e così via. Dato che i corpora di addestramento sono enormi e i modelli sono sia grandi sia progettati con cura, le sequenze di parole risultanti appaiono davvero credibili.

Questi modelli tendono a scoprire elementi linguistici (cane e gatto si riferiscono a cose simili; la parola cani ha la stessa relazione con la parola cane che gatti ha con gatto) ma anche molti altri pattern relativi a come le persone usano il linguaggio, compresi modi di esprimersi apertamente offensivi così come modi più sottilmente discriminatori da un punto di vista sociale (per esempio, usare l’espressione donne giudici invece del solo giudici, come se fosse insolito che un giudice sia donna).

Il passo finale per lo sviluppo dei modelli linguistici consiste nel provare a gestire questi pregiudizi (bias) e i casi evidenti di disinformazione e incitamento all’odio, anche perché, normalmente, la creazione di una tecnologia che diffonde contenuti tossici viene considerata una pratica commerciale discutibile. È ormai dimostrato che non esiste un corpus di testi che non contenga pregiudizi e non è nemmeno possibile evitare completamente output discriminatori oppure offensivi. Questo però non significa che non si possa migliorare la situazione.

Una tecnica per farlo (quella che OpenAI ha adottato nello sviluppo di ChatGPT) è definita “reinforcement learning from human feedback” (RLHF, ’apprendimento potenziato dal feedback umano’), in cui vengono impiegate persone (di solito in modo precario e con salari bassi) per valutare gli output del sistema. Queste valutazioni sono poi reinserite, in modo da “potenziare” gli output migliori e valutare negativamente quelli peggiori, dando così un tocco di rifinitura al trucco magico. In questo modo, il compito del sistema non è più solo di scegliere la parola probabile successiva, ma di sceglierne una che sia probabile e che riceva una valutazione alta da un valutatore umano.