Glossario

Allucinazioni dell’AI (hallucination)

Le allucinazioni dell'AI sono risposte false, inventate o non supportate dai fatti che un modello generativo presenta con tono sicuro. Il NIST preferisce il termine confabulazione e spiega che nascono dal modo in cui il modello è addestrato, cioè prevedere la parola successiva. Ogni contenuto importante generato dall'AI va verificato da una persona.

Cos’è un’allucinazione dell’AI e come funziona

Un’allucinazione dell’AI è un contenuto sbagliato o inventato che un sistema di intelligenza artificiale generativa presenta come vero: una sentenza che non esiste, una citazione mai pronunciata, un dato di fatturato senza fonte, una funzione di un programma che nessun software offre. Il testo è fluido e sicuro, perciò è facile crederci.

Il profilo NIST AI 600-1 sull’AI generativa definisce il fenomeno con il termine confabulazione: il sistema genera e presenta con sicurezza un contenuto errato o falso. Il documento chiarisce che i termini “allucinazione” e “fabbricazione” attribuiscono alla macchina una coscienza e un’intenzione di ingannare, quindi li considera impropri. Aggiunge che le confabulazioni non sono un difetto intrinseco dei modelli linguistici. Derivano dall’addestramento, basato sulla previsione della parola successiva.

Perché nascono le allucinazioni dell’AI

Un LLM non consulta una base di fatti verificati. Calcola quale sequenza di parole è più probabile data la richiesta e il testo su cui è stato addestrato. Se la sequenza più probabile è plausibile ma falsa, il modello la produce con la stessa sicurezza di una verità. Il NIST osserva che un modello può anche mostrare passaggi logici apparentemente corretti quando la risposta finale è sbagliata.

Le allucinazioni dell’AI sono più probabili in alcune situazioni: domande su fatti rari o molto recenti, richieste di numeri, citazioni e riferimenti normativi precisi, documenti lunghi da riassumere e richieste che contengono già una premessa falsa.

Esempi di allucinazioni dell’AI

  • Riferimenti inventati: articoli di legge, sentenze o studi con titoli e numeri verosimili ma inesistenti.
  • Dettagli confusi: nomi di persone, luoghi o date di eventi storici scambiati tra loro.
  • Riassunti infedeli: un riepilogo che aggiunge informazioni assenti nel documento originale o ne omette di decisive. Il NIST cita il caso di un riepilogo di referti clinici che potrebbe portare un medico a una diagnosi sbagliata.
  • Contraddizioni: risposte che divergono dalla richiesta o contraddicono quanto detto poche righe prima.
  • Codice inesistente: funzioni o comandi che non esistono, o librerie con nomi plausibili ma inventati.

Allucinazioni dell’AI: il rischio per le aziende

Un’allucinazione dell’AI inserita in un’offerta, in un contratto, in una risposta a un cliente o in una relazione tecnica diventa un errore dell’azienda. I casi più delicati riguardano i temi legali, medici e finanziari, oltre ai testi pubblicati: il lettore si fida di un documento firmato dall’azienda, non del modello che lo ha generato. Un chatbot rivolto ai clienti può promettere condizioni o prezzi che l’azienda non offre.

Come ridurre le allucinazioni dell’AI

  • Controllare le fonti: ogni dato, citazione o norma va verificato su un riferimento originale, aprendo il documento e non fidandosi del titolo.
  • Fornire il materiale: chiedere al modello di rispondere solo sulla base di documenti allegati riduce gli errori. La tecnica di RAG automatizza questo passaggio, ma non li elimina, perché il modello può comunque interpretare male il documento.
  • Chiedere di dichiarare l’incertezza: istruzioni chiare nel prompt aiutano, per esempio far rispondere “non risulta dai documenti” quando manca l’informazione.
  • Far rileggere da una persona competente ogni contenuto che esce dall’azienda.
  • Limitare i compiti: l’AI è più affidabile su riformulazioni e bozze che su fatti puntuali.
  • Monitorare l’uso: il NIST indica tra le azioni la tecnica di verifica dei fatti sui contenuti generati e il monitoraggio degli usi impropri o imprevisti del sistema.

Allucinazioni, privacy e responsabilità

Se un’AI produce informazioni false su una persona e queste vengono usate, si pongono problemi di esattezza dei dati personali, che il GDPR richiede. L’AI Act prevede obblighi di trasparenza e controllo umano per diversi usi. Chi sceglie di usare lo strumento resta responsabile del risultato, anche quando l’errore viene dal modello.

Una regola interna per l’uso dell’AI

Una procedura breve basta per cominciare: elencare i casi d’uso ammessi, indicare chi verifica cosa prima della pubblicazione, vietare l’inserimento di dati riservati negli strumenti non approvati e conservare traccia di quando un contenuto è stato generato con l’AI. Le regole si adattano al rischio: un testo interno di brainstorming richiede un controllo leggero, un’offerta commerciale o una pagina del sito ne richiede uno completo.

Cosa fare quando si trova un errore

  1. Segnalarlo a chi gestisce lo strumento, con la richiesta e la risposta.
  2. Correggere il contenuto già diffuso.
  3. Aggiornare le istruzioni o i documenti di riferimento che lo hanno causato.
  4. Se lo strumento è un fornitore esterno, controllare cosa prevede il contratto sulla qualità delle risposte.

Fonti e approfondimenti