Glossario

NLP (Natural Language Processing)

L'NLP (Natural Language Processing), o elaborazione del linguaggio naturale, è il campo dell'intelligenza artificiale che permette ai computer di comprendere, interpretare e generare il linguaggio umano, scritto o parlato. Rende possibili traduzione automatica, analisi dei testi, assistenti vocali e chatbot.

Cos’è l’NLP e come funziona

Il linguaggio umano è ambiguo, ricco di significati che dipendono dal contesto, e un computer lavora con numeri. L’NLP colma questo divario: prima trasforma il testo in una forma numerica, poi applica modelli che ne ricavano il significato. Il testo viene spezzato in unità, dette token, e ogni unità è rappresentata da un vettore di numeri che ne descrive il significato in relazione alle altre.

Compiti tipici dell’NLP

  • Classificazione di testi: smistare email, recensioni o richieste di assistenza per argomento.
  • Analisi del sentiment: capire se un commento è positivo, negativo o neutro.
  • Riconoscimento di entità: individuare in un documento nomi di persone, aziende, luoghi, date e importi.
  • Traduzione automatica: tradurre da una lingua all’altra.
  • Riassunto automatico: ridurre un documento lungo ai punti principali.
  • Risposta a domande: trovare o formulare la risposta a una domanda in linguaggio naturale.
  • Riconoscimento vocale: trasformare l’audio in testo.

Come è cambiato l’NLP nel tempo

I primi sistemi si basavano su regole grammaticali scritte a mano. Negli anni Novanta sono arrivati i metodi statistici, poi le reti neurali. Nel 2017 l’architettura Transformer ha migliorato in modo netto le prestazioni, ed è diventata la base dei grandi modelli linguistici. Oggi un solo modello può svolgere molti compiti che prima richiedevano sistemi separati, e per questo l’NLP tradizionale e l’intelligenza artificiale generativa si sono avvicinate.

NLP per l’italiano

I primi strumenti nascevano per l’inglese, la lingua con più dati disponibili. L’italiano ha una morfologia più ricca, con molte forme verbali e accordi, e questo rende l’analisi più complessa. I modelli multilingue odierni gestiscono bene l’italiano, ma per vocabolari tecnici o di settore conviene verificare i risultati su testi propri.

Applicazioni dell’NLP in azienda

Le imprese lo usano per smistare le richieste dei clienti, estrarre dati da contratti e fatture, analizzare le recensioni, cercare nei documenti interni e costruire chatbot. Per far rispondere un assistente usando i contenuti dell’azienda si combina l’NLP con tecniche di recupero, come il RAG. Gli strumenti moderni si basano sul machine learning.

Come si valuta un sistema di NLP

La qualità si misura con metriche diverse a seconda del compito. Per la classificazione e per il riconoscimento di entità si usano precisione, richiamo e punteggio F1. Per la traduzione si usano indici come BLEU, affiancati da giudizi di persone. Un sistema va provato sui testi reali dell’azienda, con le sue abbreviazioni e il suo gergo, perché i risultati ottenuti su testi generici non si trasferiscono sempre.

Le fasi di elaborazione di un testo

Un sistema di NLP parte dalla tokenizzazione, che divide il testo in unità. Segue la lemmatizzazione, che riporta ogni parola alla forma base: «andavamo» e «andrà» diventano «andare». Il riconoscimento delle categorie grammaticali e l’analisi della struttura della frase aiutano a capire chi fa cosa. Oggi la maggior parte di questi passaggi è assorbita dai modelli di deep learning, che trasformano le parole in embedding, vettori di numeri in cui parole di significato vicino risultano vicine, e ricavano il senso dal contesto.

Librerie e modelli per l’NLP

Tra le librerie più usate ci sono spaCy e NLTK, scritte in Python, e la raccolta Hugging Face Transformers, che mette a disposizione migliaia di modelli già addestrati, anche per l’italiano. I fornitori di cloud offrono servizi per estrarre entità, classificare testi e trascrivere l’audio tramite API. Per compiti semplici, come smistare le email per argomento, un modello piccolo addestrato sui propri dati può bastare e costa molto meno di un grande modello linguistico.

Cosa rende difficile l’NLP

L’ambiguità è la prima difficoltà: la stessa parola ha significati diversi a seconda del contesto, e una frase può avere più interpretazioni. Ironia, sarcasmo e allusioni sono difficili da cogliere. I testi reali contengono errori di battitura, abbreviazioni, sigle di settore e a volte dialetti. Le lingue con meno testi disponibili ottengono risultati peggiori dell’inglese. Per questo un sistema va provato sui documenti e sul linguaggio dell’azienda che lo userà.

NLP e protezione dei dati

Email, contratti, chat con i clienti e verbali contengono spesso dati personali. Prima di elaborarli con un servizio esterno si verifica dove vengono trattati e conservati i testi, si applicano regole di minimizzazione e, quando possibile, si sostituiscono nomi e altri identificativi con segnaposto. L’anonimizzazione automatica dei documenti è essa stessa un’applicazione dell’NLP, basata sul riconoscimento di entità.

NLP classico o grande modello linguistico

Per compiti ben definiti, come smistare le richieste in dieci categorie o riconoscere i codici fiscali in un documento, un modello piccolo addestrato su esempi propri costa poco, risponde in fretta e si controlla meglio. Un grande modello linguistico è più adatto a compiti aperti e vari, come riassumere testi di tipo diverso o rispondere in modo libero. Conviene provare prima la soluzione più semplice e passare a quella più costosa solo se i risultati sono insufficienti.

Fonti e approfondimenti