LLM (Large Language Model)
Un LLM (Large Language Model) è un modello di intelligenza artificiale addestrato su enormi quantità di testo per comprendere e produrre linguaggio naturale. Lavora prevedendo, un token dopo l'altro, la parola successiva più probabile. Sta alla base dei chatbot moderni e permette di scrivere, riassumere, tradurre e analizzare testi, e generare codice.
Cos’è un LLM e come funziona
Un LLM è una rete neurale con miliardi di parametri, cioè di valori numerici regolati durante l’addestramento. Il modello riceve una sequenza di token e calcola quale token ha più probabilità di venire dopo. Ripetendo il calcolo produce frasi intere. Non consulta un archivio di risposte: ricostruisce il testo da ciò che ha imparato sulle regolarità del linguaggio.
L’architettura alla base è il Transformer, presentata nel 2017 dall’articolo «Attention Is All You Need». Il suo meccanismo di attenzione permette al modello di pesare quanto ogni parte del testo sia rilevante per le altre, anche a grande distanza.
Come viene addestrato un LLM
- Pre-addestramento: il modello legge una quantità enorme di testi e impara a prevedere la parola successiva. È la fase più costosa e richiede migliaia di schede grafiche.
- Affinamento: si addestra su esempi di istruzioni e risposte, per renderlo capace di seguire richieste.
- Allineamento: si usano giudizi umani sulle risposte per renderle più utili, sicure e oneste.
Cosa sa fare un LLM
Scrive e riformula testi, riassume documenti, traduce, risponde a domande, classifica e analizza il linguaggio, estrae dati da testi non strutturati e scrive codice. Con la tecnica del RAG può rispondere sulla base dei documenti di un’azienda. Si usa dentro un software tramite API, oppure si installa un modello con pesi aperti sui propri server.
Limiti di un LLM
- Risposte inventate: il modello può produrre informazioni false con tono sicuro, un fenomeno chiamato allucinazione.
- Conoscenza datata: sa solo ciò che era nei dati di addestramento, fino a una certa data.
- Finestra di contesto: legge una quantità limitata di testo per volta, misurata in token.
- Risultati variabili: la stessa domanda può dare risposte diverse.
- Dati e costi: inviare dati riservati a un servizio esterno richiede attenzione al GDPR, e l’uso intensivo ha un costo.
Differenza tra LLM, chatbot e intelligenza artificiale generativa
L’LLM è il motore. Il chatbot è l’applicazione con cui si dialoga con il motore. L’intelligenza artificiale generativa è la categoria più ampia, che comprende anche i modelli per immagini, audio e video. Gli LLM sono una forma di deep learning e rientrano nel campo dell’intelligenza artificiale.