#MID094 | Premiare l’umiltà

Quante volte preferiamo sentirci dire qualcosa di sbagliato, ma convincente, piuttosto che ricevere un onesto “non lo so”?

OpenAI ha pubblicato – a sorpresa - un approfondito studio per spiegare perché i modelli di linguaggio di grandi dimensioni, talvolta, generino risposte false. Si tratta di quel fenomeno, noto con il nome di “allucinazione”, per cui un’Intelligenza Artificiale produce affermazioni false pur “sentendosi” sicura della propria risposta. Perfino modelli avanzati come GPT-5, pur eccellendo nel ragionamento, continuano a generare risposte false con una convinzione quasi disarmante.

Questo fenomeno mina l’affidabilità in settori dove l’errore ha un peso rilevante - dalla medicina al diritto, dal giornalismo all’educazione - mettendo a rischio vite, reputazioni e fiducia pubblica. Non basta che il modello sembri eloquente: ciò che conta davvero è la verità, che spesso sfugge nel meccanismo di previsione statistica su cui si basa. Allo stesso tempo, vi è anche una criticità operativa: le allucinazioni complicano il controllo qualità, richiedono supervisione umana, rallentano i processi ed aumentano i costi. Infine, c’è un aspetto etico: l’utente ignaro può considerare come verità ciò che è solo plausibile, alimentando disinformazione, bias ed una serie di rischi di abuso.

Il modello - sia chiaro - non mente con cattiveria, non ha secondi fini: semplicemente “predice” le parole, una dopo l’altra, sulla base di schemi statistici appresi durante l’addestramento. Quando la previsione è debole o mancano dati, può sbagliare con la stessa serenità con cui un amico ti racconta una barzelletta credendola una storia vera. La causa principale, secondo OpenAI, sta negli incentivi. I modelli vengono addestrati e valutati spesso in funzione della capacità di dare una risposta, non di riconoscere i propri limiti.

Il risultato è che i modelli imparano che azzardare è più conveniente. E qui scatta la seconda ragione: durante il pre-addestramento, il modello non riceve un bollino rosso sulle frasi false (nessuna etichettatura), ma impara solo a prevedere la parola successiva. Non c’è un controllo diretto sulla veridicità dei dati da cui attinge, solo un’enorme immersione nel mare di testi disponibili. Quando deve rispondere su un argomento comune, che ricorre spesso nei dati a sua disposizione, se la cava piuttosto bene, ma quando, invece, si trova di fronte a dettagli particolari, ad informazioni poco rappresentate o ambigue, il rischio di inventare aumenta progressivamente.

“Hallucinations” [Andrea Camerino]

La cosa più interessante è che l’articolo di OpenAI smonta una serie di luoghi comuni. Non è vero, per esempio, che basterà migliorare i modelli per eliminare del tutto le allucinazioni: ci saranno sempre domande senza una risposta certa, aree di conoscenza incomplete o inaccessibili, ambiguità che nemmeno gli esseri umani sarebbero in grado di risolvere facilmente. Non è neppure scontato che la “grandezza” del modello sia così determinante: a volte, i modelli più piccoli, con meno risorse, rischiano meno di sparare fandonie troppo elaborate. E non è nemmeno giusto pensare che le allucinazioni siano una sorta di mistero oscuro: le dinamiche statistiche che le generano sono abbastanza comprensibili, anche se i risultati possono sembrare bizzarri.

OpenAI propone, quindi, di ripensare i criteri di valutazione, premiando la calibratura e l’umiltà. In altre parole, se il modello ammette di non avere certezze, questo non dovrebbe contare come fallimento, ma come un comportamento virtuoso. Allo stesso modo, bisognerebbe penalizzare le risposte sbagliate date con troppa sicurezza più di quanto si penalizzi un “non lo so”. Sembrerebbe ovvio, eppure non lo è affatto nei sistemi di valutazione tradizionali. Il rischio opposto, certo, è quello di avere modelli che si rifugiano troppo spesso nell’incertezza, diventando frustranti per l’utente: nessuno vuole un assistente virtuale che risponde come un oracolo timoroso e silenzioso.

Il gioco, quindi, è tutto sul bilanciamento: se il modello è troppo spavaldo, ci fidiamo, ma poi rimaniamo delusi; se è troppo cauto, smette di essere utile. La cosa più divertente, se vogliamo prenderla con un filo di ironia, è che questi sistemi somigliano molto a certi esseri umani. Il collega che risponde ad ogni domanda in riunione (il ben noto “tuttologo”), anche quando non ne sa nulla, e che parla con una sicurezza disarmante, è un perfetto esempio di un modello a rischio “allucinazioni”. Quante volte preferiamo sentirci dire qualcosa di sbagliato, ma convincente, piuttosto che ricevere un onesto “non lo so”? Forse il problema, più che nei modelli, sta proprio nelle nostre aspettative.

A conti fatti, lo studio di OpenAI è un esercizio di trasparenza davvero molto utile: spiega come si originano le allucinazioni, chiarisce che non spariranno del tutto, propone rimedi concreti come cambiare i criteri di valutazione ed incentivare la calibratura. Ma, soprattutto, ci ricorda che, per quanto “intelligenti”, i modelli linguistici rimangono macchine statistiche, non enciclopedie infallibili. E, forse, la vera lezione è proprio questa: imparare ad accogliere l’incertezza come parte del gioco, fidarsi con spirito critico, e non aspettarsi mai che un algoritmo ci regali verità assolute. Del resto, se anche gli esseri umani, con tutti i loro anni di esperienza, amano inventare storie, perché, per un modello, dovrebbe essere diverso?

---

👉 Il mio nuovo saggio - Sull'orlo del "quasi": manuale di sopravvivenza per naufraghi digitali - è disponibile su Amazon, sia in formato Kindle che in versione cartacea.

👉 Dai voce al tuo brand su ogni canale: comunicazione strategica, storytelling autentico, contenuti che creano relazioni.