Deep learning
Il deep learning è un tipo di machine learning basato su reti neurali artificiali con molti strati, che imparano da grandi quantità di dati a riconoscere schemi complessi. È la tecnologia alla base di riconoscimento di immagini e voce, traduzione automatica e grandi modelli linguistici come quelli usati dai chatbot.
Cos’è il deep learning e come funziona
Una rete neurale artificiale è composta da strati di unità collegate tra loro, ognuna delle quali fa un piccolo calcolo. Si parla di deep learning, cioè apprendimento profondo, quando gli strati sono molti. Durante l’addestramento la rete riceve esempi, confronta la sua risposta con quella corretta e modifica milioni di parametri per ridurre l’errore. Con l’avanzare dell’addestramento, gli strati iniziali imparano caratteristiche semplici, come i bordi in un’immagine, e quelli finali ne combinano di più astratte, come un volto.
Perché il deep learning si è diffuso
Le idee di base risalgono a decenni fa, ma il salto è arrivato intorno al 2012, quando si sono incontrate tre condizioni: grandi raccolte di dati, schede grafiche (GPU) capaci di eseguire calcoli in parallelo e algoritmi di addestramento più efficaci. Da allora le prestazioni nel riconoscimento di immagini e di voce sono migliorate in modo netto. Nel 2017 l’architettura Transformer ha aperto la strada ai grandi modelli linguistici descritti nella voce LLM.
Differenza tra deep learning e machine learning
Il machine learning comprende molti metodi, come alberi decisionali e regressioni, che di solito richiedono a una persona di scegliere quali caratteristiche dei dati osservare. Il deep learning le ricava direttamente dai dati grezzi. In cambio richiede più dati, più potenza di calcolo e un tempo di addestramento maggiore, e produce modelli più difficili da interpretare.
Applicazioni del deep learning
- Riconoscimento di immagini e video, tema della computer vision.
- Riconoscimento e sintesi vocale, usati negli assistenti vocali.
- Traduzione automatica e analisi del testo, tema dell’NLP.
- Generazione di testi, immagini e codice, tema dell’intelligenza artificiale generativa.
- Previsione di guasti e anomalie nei macchinari industriali.
Limiti del deep learning
Un modello di deep learning impara dai dati che riceve e ne eredita errori e squilibri. Può sbagliare con grande sicurezza e il suo ragionamento interno è difficile da spiegare. L’addestramento dei modelli più grandi consuma molta energia e richiede macchine di calcolo ad alte prestazioni.
Tipi di reti neurali
Le reti convoluzionali analizzano immagini cercando schemi locali, come bordi e forme. Le reti ricorrenti, oggi meno usate, trattavano sequenze come testi e segnali. I Transformer, basati sul meccanismo di attenzione, hanno sostituito le ricorrenti nel linguaggio e si usano sempre più anche per immagini e audio. Le reti generative, come i modelli a diffusione, producono nuovi contenuti, e gli autoencoder comprimono i dati e ne individuano le anomalie.
Come impara una rete neurale
All’inizio i parametri della rete hanno valori casuali. Per ogni esempio la rete calcola una risposta, la confronta con quella corretta e misura l’errore con una funzione chiamata funzione di perdita. Con la retropropagazione l’errore viene distribuito all’indietro sugli strati, e la discesa del gradiente modifica ogni parametro di poco nella direzione che lo riduce. Il ciclo si ripete su milioni di esempi, per più passaggi sull’intero insieme di dati, fino a quando l’errore smette di calare su dati di verifica.
Hardware e costi dell’addestramento
L’addestramento richiede un’enorme quantità di moltiplicazioni tra numeri, che le schede grafiche eseguono in parallelo molto meglio dei processori comuni. Per questo si usano GPU e acceleratori dedicati, spesso affittati dal cloud a ore. Un modello piccolo si addestra in minuti su una sola scheda, mentre i più grandi occupano per settimane migliaia di macchine. L’uso del modello già addestrato, detto inferenza, costa molto meno e può avvenire anche su dispositivi periferici.
Quando conviene il deep learning
Il deep learning dà i migliori risultati su dati non strutturati: immagini, audio, testi e video. Su tabelle di dati aziendali di dimensioni contenute, come storici di vendita o anagrafiche clienti, metodi più semplici di machine learning sono spesso altrettanto accurati, si addestrano in fretta e si spiegano meglio. Prima di scegliere una rete profonda conviene provare un modello di base e confrontare costi, tempi e qualità.
Le tappe del deep learning
Il percettrone, una rete a un solo strato, risale al 1958. Negli anni Ottanta la retropropagazione ha reso possibile addestrare reti con più strati. Nel 2012 una rete convoluzionale chiamata AlexNet ha vinto la gara di riconoscimento di immagini ImageNet con un distacco netto sui metodi precedenti, e da allora la tecnica si è estesa a voce, testo e video. Nel 2017 sono arrivati i Transformer, che hanno aperto la strada ai grandi modelli linguistici.
Iperparametri e sovraddestramento nelle reti profonde
Oltre ai parametri che la rete impara, ci sono impostazioni scelte da chi la addestra, dette iperparametri: la velocità di apprendimento, il numero di strati, la quantità di esempi per ciclo. Una rete con molti parametri tende a memorizzare i dati di addestramento invece di imparare regole generali. Per contenere il rischio si usano tecniche come il dropout, che disattiva a caso alcune unità durante l’addestramento, la regolarizzazione e l’arresto anticipato quando l’errore sui dati di verifica smette di calare.