# Cosa sono i token AI

I modelli AI non leggono il testo parola per parola: lo dividono in piccoli pezzi chiamati token.

[Versione HTML](https://www.tokenometro.it/guide/cosa-sono-token-ai/)

Un progetto di YADA Digital. Metodo e limiti: https://www.tokenometro.it/metodologia/
Fonti verificate il: 2026-10-03

Contenuto aggiornato il: 2026-10-14

## Cosa sono i token nell’intelligenza artificiale?

Quando scriviamo una domanda a un'intelligenza artificiale, il nostro testo viene suddiviso in piccoli pezzi chiamati token. Sono le unità fondamentali che i modelli AI utilizzano per leggere e generare il linguaggio.

Immaginiamo una frase costruita con i mattoncini LEGO. Alcuni mattoncini rappresentano parole intere, altri soltanto parti di parole, lettere o segni di punteggiatura. L'AI combina questi elementi per costruire le proprie risposte, un token alla volta.

Un token, quindi, non corrisponde necessariamente a una parola. Una parola breve e comune potrebbe occupare un solo token, mentre una parola lunga o poco utilizzata potrebbe essere suddivisa in diversi pezzi.

## Come vengono suddivise le parole in token?

La suddivisione del testo viene eseguita da un sistema chiamato tokenizer. In pratica, è una specie di traduttore che trasforma le nostre frasi in sequenze di numeri che il modello può elaborare.

Le parole più comuni tendono a essere rappresentate da pochi token, mentre termini insoliti, numeri, simboli e parole particolarmente lunghe possono richiederne di più. Anche la lingua utilizzata influisce sul risultato.

Per questo due frasi della stessa lunghezza possono contenere quantità diverse di token. Inoltre, ogni modello può utilizzare un tokenizer differente: lo stesso testo non produce necessariamente lo stesso numero di token su tutte le AI.

## Perché i token sono importanti e quanto costano?

I token non servono soltanto a rappresentare il testo: sono anche una delle principali unità con cui si misura l'utilizzo dei modelli AI. Nei servizi a consumo, il prezzo viene spesso calcolato in base ai token inviati al modello e a quelli generati nella risposta.

I primi vengono chiamati token di input, mentre i secondi sono i token di output. Le due categorie possono avere prezzi differenti, generalmente più elevati per quelli generati dal modello.

I token determinano anche quanto testo può essere gestito contemporaneamente nella finestra di contesto. Una conversazione molto lunga può quindi occupare decine di migliaia di token, anche quando l'ultima domanda contiene soltanto poche parole.

## Come contare i token di un testo?

Contare le parole non basta per conoscere il numero di token di un testo. Fortunatamente esistono strumenti appositi, chiamati contatori di token, che permettono di analizzare una frase o un intero documento in pochi istanti.

Puoi fare una prova direttamente su Tokenometro: incolla una frase nel contatore e osserva quanti token contiene. Poi prova a riscriverla utilizzando meno parole, senza cambiarne il significato, e confronta il risultato.

Potresti scoprire che eliminare qualche parola non riduce sempre i token quanto immagini! È un piccolo esperimento che aiuta a capire come ragionano i tokenizer e perché scrivere richieste chiare e concise può contribuire a risparmiare sui costi dell’intelligenza artificiale.

## Lo stesso italiano, due tokenizer

Conteggi locali del solo testo mostrato, senza messaggi di sistema, documento da riassumere o output. Non sono il conteggio ufficiale di tutti i modelli e non misurano la qualità della risposta.

| Esempio | Testo esatto | cl100k_base | o200k_base |
| --- | --- | --- | --- |
| Istruzione originale | Per favore, vorrei che tu mi aiutassi a riassumere il testo che trovi qui sotto. Ti chiedo di essere breve e conciso, di non dilungarti e di usare esattamente tre punti elenco. Non aggiungere informazioni che non sono presenti nel testo. | 69 | 58 |
| Istruzione rivista | Riassumi il testo seguente in tre punti elenco. Usa soltanto le informazioni presenti nel testo. | 29 | 21 |
| Accenti, numeri ed emoji | Caffè, città e sostenibilità: l’AI legge anche accenti, numeri 123 ed emoji 🌱. | 30 | 26 |

Misurato il 2026-10-11 con tiktoken 0.12.0 e encode_ordinary. La versione breve conserva compito e formato richiesto: verificarne l'efficacia sul documento reale resta necessario.

## Fonti

- [Understanding and counting tokens, OpenAI](https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-to-count-them)
- [Tokenization algorithms, Hugging Face](https://huggingface.co/docs/transformers/tokenizer_summary)
- [Introduction to Large Language Models, Google for Developers](https://developers.google.com/machine-learning/crash-course/llm)
- [OpenAI API Pricing, OpenAI](https://developers.openai.com/api/docs/pricing)

## Letture correlate

- [Come funziona un tokenizer](https://www.tokenometro.it/guide/come-funziona-tokenizer/index.md)
- [Token, parole e caratteri: qual è la differenza?](https://www.tokenometro.it/guide/parole-caratteri-token/index.md)
- [Token di input e output: cosa cambia?](https://www.tokenometro.it/guide/input-output-token/index.md)
