Glossario

LLM (Large Language Model)

Un LLM (Large Language Model) è un modello di intelligenza artificiale addestrato su enormi quantità di testo per comprendere e produrre linguaggio naturale. Lavora prevedendo, un token dopo l'altro, la parola successiva più probabile. Sta alla base dei chatbot moderni e permette di scrivere, riassumere, tradurre e analizzare testi, e generare codice.

Cos’è un LLM e come funziona

Un LLM è una rete neurale con miliardi di parametri, cioè di valori numerici regolati durante l’addestramento. Il modello riceve una sequenza di token e calcola quale token ha più probabilità di venire dopo. Ripetendo il calcolo produce frasi intere. Non consulta un archivio di risposte: ricostruisce il testo da ciò che ha imparato sulle regolarità del linguaggio.

L’architettura alla base è il Transformer, presentata nel 2017 dall’articolo «Attention Is All You Need». Il suo meccanismo di attenzione permette al modello di pesare quanto ogni parte del testo sia rilevante per le altre, anche a grande distanza.

Come viene addestrato un LLM

  1. Pre-addestramento: il modello legge una quantità enorme di testi e impara a prevedere la parola successiva. È la fase più costosa e richiede migliaia di schede grafiche.
  2. Affinamento: si addestra su esempi di istruzioni e risposte, per renderlo capace di seguire richieste.
  3. Allineamento: si usano giudizi umani sulle risposte per renderle più utili, sicure e oneste.

Cosa sa fare un LLM

Scrive e riformula testi, riassume documenti, traduce, risponde a domande, classifica e analizza il linguaggio, estrae dati da testi non strutturati e scrive codice. Con la tecnica del RAG può rispondere sulla base dei documenti di un’azienda. Si usa dentro un software tramite API, oppure si installa un modello con pesi aperti sui propri server.

Limiti di un LLM

  • Risposte inventate: il modello può produrre informazioni false con tono sicuro, un fenomeno chiamato allucinazione.
  • Conoscenza datata: sa solo ciò che era nei dati di addestramento, fino a una certa data.
  • Finestra di contesto: legge una quantità limitata di testo per volta, misurata in token.
  • Risultati variabili: la stessa domanda può dare risposte diverse.
  • Dati e costi: inviare dati riservati a un servizio esterno richiede attenzione al GDPR, e l’uso intensivo ha un costo.

Differenza tra LLM, chatbot e intelligenza artificiale generativa

L’LLM è il motore. Il chatbot è l’applicazione con cui si dialoga con il motore. L’intelligenza artificiale generativa è la categoria più ampia, che comprende anche i modelli per immagini, audio e video. Gli LLM sono una forma di deep learning e rientrano nel campo dell’intelligenza artificiale.

Come scegliere un LLM per un’azienda

Si confrontano la qualità sui propri testi, la resa in italiano, la dimensione della finestra di contesto, il costo per token, la velocità, il luogo in cui i dati vengono elaborati e le condizioni d’uso del fornitore. Un modello più grande non è sempre la scelta migliore: per compiti semplici uno più piccolo costa meno e risponde prima. Conviene provare i candidati su una raccolta di domande reali prima di sceglierne uno.

Parametri, dimensioni e temperatura

Il numero di parametri dà un’idea della capacità di un modello: i più piccoli ne hanno alcuni miliardi e girano su un portatile, i più grandi ne hanno centinaia di miliardi e richiedono molte schede grafiche. Più parametri non significano sempre risposte migliori, perché contano anche la qualità dei dati e l’addestramento. Tra le impostazioni d’uso, la temperatura regola la variabilità delle risposte: valori bassi producono testi più prevedibili, adatti a estrarre dati, mentre valori alti danno testi più vari, adatti alla scrittura creativa.

Modelli proprietari e modelli a pesi aperti

I modelli proprietari si usano tramite API o applicazioni del fornitore, che li ospita e li aggiorna. I modelli a pesi aperti si possono scaricare e installare sui propri server: l’azienda controlla dove restano i dati e può adattare il modello, ma si occupa dell’infrastruttura, degli aggiornamenti e della sicurezza. Le licenze variano, e non tutte consentono l’uso commerciale senza limiti. La scelta dipende dai volumi, dalla riservatezza dei dati e dalle competenze disponibili.

Richieste, esempi e personalizzazione

Il modo più semplice di ottenere buoni risultati è scrivere richieste chiare, come descritto nella voce prompt engineering. Se non bastano, si può fornire al modello documenti pertinenti con il RAG. Solo quando serve uno stile o un comportamento specifico, che le richieste non ottengono, si passa all’affinamento su esempi propri, che richiede dati selezionati e una verifica accurata. Questo ordine rispecchia anche i costi, che crescono a ogni passaggio.

Costi, tempi di risposta e privacy

I costi dipendono dal modello e dal numero di token elaborati. I modelli più grandi rispondono con più lentezza, e per applicazioni interattive come un chatbot il tempo di risposta conta quanto la qualità. Prima di inviare dati a un servizio esterno si verificano il luogo di elaborazione, la conservazione delle richieste e l’eventuale uso per l’addestramento, e si firma il contratto di nomina a responsabile del trattamento previsto dal GDPR.

Fonti e approfondimenti