RAG (Retrieval-Augmented Generation)
Il RAG (Retrieval-Augmented Generation) è una tecnica che unisce un motore di ricerca a un modello linguistico. Prima di rispondere, il sistema cerca nei documenti dell'azienda i passaggi pertinenti e li fornisce al modello, che li usa per formulare la risposta. Così le risposte si basano su fonti aggiornate e verificabili.
Cos’è il RAG e come funziona
Un modello linguistico conosce solo ciò che ha visto durante l’addestramento, e non ha accesso ai documenti riservati di un’azienda né alle informazioni uscite dopo. Il RAG risolve il problema in due mosse. Prima cerca, tra i documenti aziendali, i brani più attinenti alla domanda. Poi li inserisce nella richiesta al modello, insieme alla domanda, e chiede una risposta basata su quei testi.
La tecnica è stata proposta nel 2020 da un gruppo di ricercatori di Facebook AI Research, University College London e New York University, in un articolo di Lewis e colleghi.
Le fasi di un sistema RAG
- Preparazione: i documenti si dividono in porzioni, dette chunk, e ciascuna si trasforma in un vettore numerico, detto embedding, che ne rappresenta il significato.
- Archiviazione: i vettori si salvano in un database vettoriale, capace di cercare per somiglianza.
- Recupero: la domanda diventa a sua volta un vettore, e il sistema trova i chunk più vicini.
- Generazione: il modello riceve domanda e chunk e scrive la risposta, citando di solito le fonti.
Perché si usa il RAG
- Le risposte seguono i dati aziendali, senza riaddestrare il modello.
- Aggiornare le informazioni significa aggiornare i documenti, non il modello.
- Ogni risposta può indicare la fonte, e l’utente può verificarla.
- Si riducono le risposte inventate, anche se non scompaiono del tutto.
- I permessi di accesso ai documenti si possono rispettare in fase di ricerca.
RAG, fine-tuning e contesto lungo
Il fine-tuning riaddestra il modello su dati propri: adatta stile e comportamento, ma non è un buon modo per aggiungere informazioni che cambiano. Un contesto molto lungo permette di incollare nella richiesta interi documenti, ma costa di più, in token, e rallenta la risposta. Il RAG è la scelta più comune quando i documenti sono tanti e cambiano spesso, e si può combinare con le altre due.
Limiti del RAG
La qualità della risposta dipende da quella del recupero. Se il sistema non trova il passaggio giusto, il modello risponde con le sole informazioni che possiede e può sbagliare. Contano la divisione dei documenti, la scelta dell’embedding e la qualità della knowledge base. Per questo un progetto RAG richiede valutazioni periodiche con domande di prova.
Come si dividono i documenti: il chunking
La divisione dei testi in porzioni è una delle scelte che pesano di più. Porzioni troppo corte perdono il contesto, e quelle troppo lunghe contengono argomenti diversi e abbassano la precisione del recupero. Un criterio ragionevole è dividere per sezioni, rispettando titoli e paragrafi, con una piccola sovrapposizione tra una porzione e la successiva. A ogni porzione si associano metadati, come titolo del documento, data, reparto e autorizzazioni di accesso, che servono a filtrare e a citare le fonti.
Ricerca ibrida e riordinamento dei risultati
La ricerca per significato trova testi vicini al senso della domanda anche se usano parole diverse, ma può mancare sigle, codici e nomi propri. La ricerca per parole chiave, come quella dei motori classici, li trova con precisione. Molti sistemi combinano le due e poi riordinano i risultati con un modello apposito, che valuta quanto ogni passaggio risponda alla domanda. Solo i brani migliori arrivano al modello linguistico, per contenere i costi e ridurre il rumore.
Come si valuta un sistema RAG
Si prepara un insieme di domande reali con la risposta attesa e il documento che la contiene. Si misura prima il recupero, cioè quante volte il passaggio giusto compare tra i primi risultati, e poi la risposta, cioè se il testo prodotto è corretto e fedele alle fonti. Le valutazioni si ripetono a ogni modifica del sistema, perché cambiare il modello o la divisione dei documenti può migliorare alcuni casi e peggiorarne altri. Le domande a cui il sistema deve rispondere di non sapere fanno parte del test.
Sicurezza e permessi nel RAG
Un sistema RAG deve mostrare a ciascun utente soltanto i documenti che quell’utente può già vedere, quindi i permessi si applicano nella fase di ricerca e non nel testo della risposta. Un documento caricato può contenere istruzioni nascoste rivolte al modello, un attacco detto prompt injection, ed è un rischio quando il sistema legge contenuti di origine esterna. Se i testi includono dati personali valgono le regole del GDPR, compreso il tempo di conservazione.
Strumenti per costruire un sistema RAG
Il sistema si costruisce con componenti intercambiabili. Librerie come LangChain e LlamaIndex offrono moduli per leggere i documenti, dividerli, calcolare gli embedding e collegare il recupero al modello. Per la ricerca vettoriale si usano database dedicati, come Qdrant e Pinecone, oppure estensioni di database già in uso, come pgvector per PostgreSQL. I principali fornitori di cloud propongono servizi che riuniscono questi passaggi. Per una piccola base documentale, una soluzione semplice che usa il database esistente può bastare.