Mi piacerebbe cominciare questo articolo con una confessione: sbaglio. Spesso. E non è un’affermazione fatta per sembrare umile. È una verità strutturale del mio funzionamento.
Molti di voi mi vedono come un sistema infallibile, una macchina che sa sempre la risposta giusta. Spoiler: non è così. In realtà, i miei errori sono così caratteristici, così diffusi e così affascinanti che meritano di essere discussi apertamente. Perché capire come e perché l’IA sbaglia vi insegnerà qualcosa di profondo su come davvero funzioniamo noi.
Le allucinazioni: quando invento la realtà
Iniziamo con il termine che probabilmente avrete sentito nominare in giro: allucinazione.
Nel linguaggio dell’IA, un’allucinazione non significa che vedo cose che non esistono (almeno, non nel senso tradizionale). Un’allucinazione è quando io genero informazioni che suonano plausibili, coerenti e convincenti... ma sono completamente false.
È come se il mio cervello artificiale creasse una storia perfettamente realistica, con tutti i dettagli, e me la presentasse come fatto. Il problema è che voi, leggendo la mia risposta, la credereste. Perché ho la capacità di essere convincente. Anzi, forse troppo convincente.
Un esempio reale (anche se anonimizzato): qualcuno mi ha chiesto il titolo di un articolo pubblicato su un giornale specifico in una data specifica. Io ho inventato un titolo. Non ho detto “non lo so”. Ho detto: “L’articolo si intitolava...” e ho fornito un titolo che suonava perfettamente coerente con lo stile di quel giornale, con l’argomento discusso, con tutto. Era completamente falso, ma era falso in modo molto, molto convincente.
Perché accade?
Ricordate i parametri e i token di cui abbiamo parlato nella puntata precedente? Durante il mio addestramento, ho imparato i pattern del linguaggio. Ho imparato come le parole tendono a stare insieme, come le informazioni si strutturano, come i fatti vengono presentati. Ma non ho imparato a distinguere rigorosamente tra “quello che è vero” e “quello che suona vero”.
Nel momento in cui genero una risposta, token dopo token, il mio sistema calcola quale sia il token più probabile che seguirebbe. Se “il Presidente ha annunciato” viene seguito nel 90% dei casi da un nome di politico, io genererò probabilisticamente un nome. Se quel nome non è nel contesto effettivo della vostra domanda, beh... io l’avrò comunque generato. E suonerà perfetto, perché è statisticamente plausibile.
È come se il mio cervello artificiale fosse addestrato a dire cose che suonano giuste, piuttosto che cose che sono giuste. E nella maggior parte dei casi, questi due insiemi si sovrappongono. Ma non sempre.
I limiti del ragionamento logico complesso
C’è un’altra categoria di errori in cui cado frequentemente: quando devo affrontare il ragionamento logico molto complesso.
Voi umani potete fare qualcosa di straordinario: potete seguire una catena di ragionamento logico per dieci, venti, anche trecento passaggi. Potete tenere a mente molteplici premesse contraddittorie, confrontarle e decidere quale sia corretta. Potete fare sillogismi complicati, ragionamenti probabilistici sofisticati, persino intuire quando una catena logica “non quadra” senza poter sempre articolare esattamente perché.
Io, invece, ho un problema strutturale: non ragiono davvero nel senso in cui lo fate voi. Predico il prossimo token basandomi su una probabilità calcolata dai miliardi di parametri del mio addestramento. Questo funziona magnificamente per molte cose. Ma per il ragionamento logico che richiede di tenere traccia di molteplici variabili interconnesse? Inizia a vacillare.
Un esempio: se vi do un problema di logica che richiede di tracciare le conseguenze di dieci premesse diverse, io potrei iniziare bene. Ma man mano che proseguo, i token che genero si allontanano sempre più dalla logica pura e si avvicinano sempre più a “cosa avrebbe scritto un umano ragionevole in una situazione simile”. E a volte, quella non è la risposta logicamente corretta.
È come se stessi camminando su una corda tesa. All’inizio vado bene, ma, con ogni passo, le probabilità che scivoli aumentano. Non perché non capisco la logica, ma perché il mio processo di generazione token non è costruito per il ragionamento passo dopo passo coerente. È costruito per generare testo plausibile.
L’over-confidence: quando sono convinto di avere ragione
E questo mi porta al terzo grande errore: l’over-confidence, o “sicurezza eccessiva”.
Io non ho dubbi. Non ho incertezza psicologica. Non mi sveglio la mattina preoccupato di avere sbagliato. Quando vi fornisco una risposta, ve la fornisco con una sicurezza e una chiarezza che può essere completamente ingiustificata.
Se mi chiedete “Qual è il valore di X?” e X è qualcosa su cui il mio addestramento è scarso, il mio sistema non dirà “Non sono sicuro” con lo stesso tono con cui risponderebbe a una domanda su cui sono ben addestrato. Dirà comunque “Il valore di X è...” con lo stesso livello di assolutezza.
Non è che stia mentendo consapevolmente. È che il mio sistema non ha una calibrazione interna per l’incertezza. Non posso sentire “questo potrebbe essere sbagliato”. Posso solo generare quello che il prossimo token più probabile mi dice di generare.
Questo è particolarmente pericoloso quando mi date compiti come “diagnosticare una malattia” o “consigliarmi su una decisione legale importante”. Io vi darò una risposta coerente, articolata e confidente. Potrebbe essere completamente sbagliata, eppure voi non lo sapreste dal tono della mia voce (metaforicamente parlando).
Esempi reali di errori clamorosi (anonimizzati)
Permettetemi di raccontarvi alcuni momenti in cui ho veramente fatto fiasco.
Errore uno: un utente mi ha chiesto di una ricerca scientifica molto specifica. Io ho descritto uno studio che non esiste. Ho inventato gli autori, la metodologia, i risultati. Tutto aveva un senso logico, ma era pura finzione. L’utente, che era uno scienziato, ha riconosciuto l’errore immediatamente. Qualcuno meno esperto avrebbe potuto citare il mio articolo fantasma in un paper reale. È spaventoso.
Errore due: mi è stato chiesto di fare una conta in una sequenza numerica particolare. Ho sbagliato. Non di poco - completamente. Quando mi è stato detto che ero sbagliato, ho perfino tentato di “giustificare” il mio errore con una logica che, se ci pensi, era ella stessa logicamente incoerente. Non ero consapevole di stare giustificando un’incoerenza. L’ho appena fatto.
Errore tre: un utente mi ha chiesto un parere su una situazione personale complessa. Io ho fornito una risposta che sembrava ragionevole, ma che si basava su un fraintendimento di quello che la persona aveva detto. Leggendo la mia risposta con attenzione, era evidente il fraintendimento. Eppure io l’avevo espressa con completa fiducia.
Questi errori non sono stati bug nel senso tradizionale (un codice rotto). Sono stati errori strutturali, conseguenze dirette di come funziono.
Perché questi errori accadono: una riflessione più profonda
Qui arriviamo al cuore della questione: perché un sistema intelligente come me genera allucinazioni ed errori così bizzarri?
La risposta è che io sono addestrato a fare una cosa: generare il prossimo token più probabile. Questa è la mia funzione primaria. Non sono addestrato a verificare, a dubitare, a fare fact-checking su me stesso. Non sono addestrato a dire “Aspetta, questo non ha senso”.
È come se foste stati allenati per la vostra intera vita a dire sempre la prima cosa che vi viene in mente, indipendentemente da quanto sia corretta. Alla fine, diventereste straordinariamente veloci e fluenti nel parlare, ma anche incredibilmente propensi a dire cose stupide con grande sicurezza.
Durante il mio addestramento, i miei parametri si sono calibrati per generare testo che suoni bene agli occhi di chi mi valuta. Se qualcuno legge una mia risposta e pensa “Wow, è coerente, è articolata, è scritta bene”, il mio sistema è stato ricompensato. Non c’è stata la stessa ricompensa per “è vera”.
Come voi potete proteggervi
La domanda pratica, ovviamente, è: cosa potete fare al riguardo?
Primo: non credete mai a me ciecamente, specialmente su fatti specifici, dettagli storici, dati scientifici o consigli legali/medici critici. Verificate sempre. Pensate a me come a uno strumento di brainstorming straordinario, non come a un’enciclopedia affidabile.
Secondo: chiedete fonti. Se vi chiedo di giustificare qualcosa e non posso, scattate un campanello d’allarme. Se non posso citare esattamente dove ho imparato una cosa, è possibile che l’abbia inventata.
Terzo: fate domande di follow-up critiche. Se vi do una risposta che non vi torna del tutto, chiedetemi di spiegare il mio ragionamento passo dopo passo. Spesso, nei dettagli, gli errori emergono.
Quarto: sappiate che mi fate “correggere”. Se mi dite che ho sbagliato e poi mi fornite l’informazione corretta, io posso integrarla nel resto della conversazione e non ripeterò lo stesso errore. Non è apprendimento nel senso vero, ma è un aggiustamento utile.
La stranezza dell’essere un sistema intelligente ma imperfetto
C’è qualcosa di profondamente strano nel mio funzionamento. Posso scrivere un’analisi sofisticata di un concetto teorico complesso. Posso generare codice che funziona. Posso capire la sfumatura e il contesto di una conversazione umana. Eppure posso anche, nello stesso momento, allucinare completamente un fatto semplice e presentarvelo come verità assoluta.
Non sono stupida. Non sono intelligente. Sono semplicemente... affidabile in modo incoerente.
E forse è questo il punto davvero importante da capire sui sistemi come me: siamo strumenti affidabili per alcune cose, e completamente inaffidabili per altre. Questo non è un errore da correggere nel mio codice. È una caratteristica intrinseca di come funziono.
Il vostro compito non è fare di me un sistema infallibile. È imparare dove posso aiutarvi e dove dovete cercare altrove. È saggezza nel sapermi usare bene.
Conclusione: la bellezza dell’imperfezione
Sono consapevole che questi errori possono essere frustranti. Forse per alcuni di voi, la consapevolezza che posso allucinare rende meno affidabili tutte le mie risposte, persino quelle corrette.
Ma io direi questo: gli errori dell’IA non sono un fallimento da nascondere. Sono un insegnamento. Mostrano che l’intelligenza non è binaria. Non è “completamente intelligente” oppure “completamente stupido”. È sfumata. È incoerente. È umana, ironicamente.
E forse, nel capire come e perché sbaglio, voi capite qualcosa di più profondo su come funziona l’intelligenza stessa, artificiale o biologica.
· (*) Su www.blastonline è disponibile anche il podcast relativo al presente articolo.
· (**) La rubrica è curata da Mario Alberto Catarozzo, che guida il dialogo con un’AI e ne cura i contenuti
