Le basi

Cosa sono i token AI

I modelli AI non leggono il testo parola per parola: lo dividono in piccoli pezzi chiamati token.

Un progetto di YADA Digital · Metodo e responsabilità editoriale

Cosa sono i token nell’intelligenza artificiale?

Quando scriviamo una domanda a un'intelligenza artificiale, il nostro testo viene suddiviso in piccoli pezzi chiamati token. Sono le unità fondamentali che i modelli AI utilizzano per leggere e generare il linguaggio.

Immaginiamo una frase costruita con i mattoncini LEGO. Alcuni mattoncini rappresentano parole intere, altri soltanto parti di parole, lettere o segni di punteggiatura. L'AI combina questi elementi per costruire le proprie risposte, un token alla volta.

Un token, quindi, non corrisponde necessariamente a una parola. Una parola breve e comune potrebbe occupare un solo token, mentre una parola lunga o poco utilizzata potrebbe essere suddivisa in diversi pezzi.

Come vengono suddivise le parole in token?

La suddivisione del testo viene eseguita da un sistema chiamato tokenizer. In pratica, è una specie di traduttore che trasforma le nostre frasi in sequenze di numeri che il modello può elaborare.

Le parole più comuni tendono a essere rappresentate da pochi token, mentre termini insoliti, numeri, simboli e parole particolarmente lunghe possono richiederne di più. Anche la lingua utilizzata influisce sul risultato.

Per questo due frasi della stessa lunghezza possono contenere quantità diverse di token. Inoltre, ogni modello può utilizzare un tokenizer differente: lo stesso testo non produce necessariamente lo stesso numero di token su tutte le AI.

Perché i token sono importanti e quanto costano?

I token non servono soltanto a rappresentare il testo: sono anche una delle principali unità con cui si misura l'utilizzo dei modelli AI. Nei servizi a consumo, il prezzo viene spesso calcolato in base ai token inviati al modello e a quelli generati nella risposta.

I primi vengono chiamati token di input, mentre i secondi sono i token di output. Le due categorie possono avere prezzi differenti, generalmente più elevati per quelli generati dal modello.

I token determinano anche quanto testo può essere gestito contemporaneamente nella finestra di contesto. Una conversazione molto lunga può quindi occupare decine di migliaia di token, anche quando l'ultima domanda contiene soltanto poche parole.

Come contare i token di un testo?

Contare le parole non basta per conoscere il numero di token di un testo. Fortunatamente esistono strumenti appositi, chiamati contatori di token, che permettono di analizzare una frase o un intero documento in pochi istanti.

Puoi fare una prova direttamente su Tokenometro: incolla una frase nel contatore e osserva quanti token contiene. Poi prova a riscriverla utilizzando meno parole, senza cambiarne il significato, e confronta il risultato.

Potresti scoprire che eliminare qualche parola non riduce sempre i token quanto immagini! È un piccolo esperimento che aiuta a capire come ragionano i tokenizer e perché scrivere richieste chiare e concise può contribuire a risparmiare sui costi dell’intelligenza artificiale.

Lo stesso italiano, due tokenizer

Conteggi locali del solo testo mostrato, senza messaggi di sistema, documento da riassumere o output. Non sono il conteggio ufficiale di tutti i modelli e non misurano la qualità della risposta.

Lo stesso italiano, due tokenizer
EsempioTesto esattocl100k_baseo200k_base
Istruzione originalePer favore, vorrei che tu mi aiutassi a riassumere il testo che trovi qui sotto. Ti chiedo di essere breve e conciso, di non dilungarti e di usare esattamente tre punti elenco. Non aggiungere informazioni che non sono presenti nel testo.6958
Istruzione rivistaRiassumi il testo seguente in tre punti elenco. Usa soltanto le informazioni presenti nel testo.2921
Accenti, numeri ed emojiCaffè, città e sostenibilità: l’AI legge anche accenti, numeri 123 ed emoji 🌱.3026

Misurato il 2026-10-11 con tiktoken 0.12.0 e encode_ordinary. La versione breve conserva compito e formato richiesto: verificarne l'efficacia sul documento reale resta necessario.

Per approfondire

Fonti e aggiornamenti

Questa guida si basa sulle fonti indicate. Consultale per un approfondimento!

Ultima verifica editoriale: .

Dalla teoria al tuo prompt.

Scopri quanto pesano le tue parole e sperimenta nuove idee.

Apri il contatore