Token
Il token è un'unità di dati, e in informatica ha tre significati principali. Nei modelli linguistici è un frammento di testo, spesso una parte di parola, con cui il modello legge e scrive. Nella sicurezza è una stringa che prova l'identità di un utente. Nella blockchain è una risorsa digitale registrata su un registro condiviso.
Token nei modelli linguistici
Un modello linguistico non legge lettere né parole intere. Divide il testo in token: possono essere una parola corta, una parte di parola, un segno di punteggiatura o uno spazio. Ogni token corrisponde a un numero in un vocabolario fisso, e il modello lavora su sequenze di numeri. Il procedimento si chiama tokenizzazione ed è la prima fase di ogni sistema di elaborazione del linguaggio naturale.
In inglese un token equivale in media a circa tre quarti di parola. In italiano, che ha parole più lunghe e flesse, servono più token per la stessa lunghezza di testo. I token contano per due ragioni pratiche. La finestra di contesto, cioè la quantità di testo che il modello gestisce in una volta, si misura in token. E i fornitori di API fatturano in base ai token letti e scritti.
Token di autenticazione
Un token di autenticazione è una stringa che dimostra a un servizio chi è l’utente e che cosa può fare, senza dover inviare la password a ogni richiesta. L’utente accede una volta, il server rilascia un token con una scadenza e il client lo allega alle richieste successive. Un formato diffuso è il JSON Web Token, che contiene i dati dell’utente in formato JSON.
Il protocollo OAuth 2.0 distingue il token di accesso, di breve durata, dal token di rinnovo, che permette di ottenerne uno nuovo. Un token rubato dà accesso al servizio come se fosse la password, quindi va trasmesso solo su connessioni cifrate, conservato con cura e fatto scadere. Esistono anche token fisici, chiavette che generano codici temporanei per l’accesso a più fattori, secondo i principi di sicurezza informatica e del modello zero trust.
Token nella blockchain
Nel mondo delle criptovalute un token è una risorsa digitale creata su una blockchain esistente, come Ethereum, senza una rete propria. Può rappresentare un valore, un diritto di accesso a un servizio, una quota o un oggetto digitale. I token fungibili sono intercambiabili tra loro, come una moneta. I token non fungibili, gli NFT, sono unici. Non vanno confusi con le criptovalute native della rete, dette coin.
Nell’Unione europea i cripto-asset sono regolati dal regolamento MiCA, il regolamento (UE) 2023/1114.
Come distinguere i significati
Il contesto indica quale significato è in gioco. Se si parla di costi di un servizio di intelligenza artificiale o di lunghezza di un testo, sono i token del linguaggio. Se si parla di accesso, login e API REST, sono token di autenticazione. Se si parla di criptovalute e di NFT, sono token della blockchain. Nei sistemi di RAG i primi due significati convivono: i token del linguaggio misurano il testo e quelli di autenticazione proteggono l’accesso ai servizi.
Contare i token: contesto e costi
I fornitori di modelli linguistici indicano la dimensione massima del contesto in token, e questa cifra comprende sia la richiesta sia la risposta. Il prezzo si calcola separatamente per i token in ingresso e per quelli in uscita, e di solito questi ultimi costano di più. Per stimare un costo si moltiplica il numero medio di token di una richiesta per il numero di richieste attese. Esistono strumenti che mostrano come un testo viene diviso, e alcuni servizi offrono tariffe ridotte per i contenuti riutilizzati più volte nella stessa conversazione.
Com’è fatto un JSON Web Token
Un JSON Web Token è formato da tre parti separate da un punto: l’intestazione, che indica l’algoritmo di firma, il contenuto, che porta i dati come l’identificativo dell’utente e la scadenza, e la firma, che permette al server di verificare che nessuno lo abbia modificato. Le prime due parti sono solo codificate, non cifrate, quindi chiunque possa leggerlo vede il contenuto. Per questo nel token non si inseriscono dati riservati.
Dove si conservano i token di accesso
Un token è una credenziale e si tratta come una password. Non si inserisce nell’indirizzo di una pagina, dove finirebbe nei registri dei server e nella cronologia del browser. Nelle applicazioni web si preferisce un cookie con gli attributi che lo rendono inaccessibile al codice della pagina e limitato ai collegamenti cifrati. Le scadenze brevi e la possibilità di revocare un token compromesso riducono il danno se qualcuno se ne appropria. Le chiavi per le API restano sui server e non vanno inserite nel codice pubblicato nel browser.
Gli standard dei token nella blockchain
Sulla rete Ethereum le regole con cui si crea un token sono descritte da standard condivisi. ERC-20 definisce i token fungibili, usati ad esempio per le monete digitali di un progetto. ERC-721 definisce i token non fungibili, ciascuno con un identificativo unico. Rispettare lo standard permette ai portafogli digitali e agli scambi di riconoscere e gestire il token senza adattamenti. Il funzionamento del registro condiviso è descritto nella voce blockchain.