# Come funziona un tokenizer

Prima di arrivare al modello, il testo passa dal tokenizer. È lui a decidere come spezzare una frase nei token che verranno realmente elaborati.

[Versione HTML](https://www.tokenometro.it/guide/come-funziona-tokenizer/)

Un progetto di YADA Digital. Metodo e limiti: https://www.tokenometro.it/metodologia/
Fonti verificate il: 2026-10-03

Contenuto aggiornato il: 2026-10-14

## Come funziona un tokenizer AI?

Prima che un'intelligenza artificiale possa elaborare una frase, il testo deve essere trasformato in qualcosa che il computer possa comprendere: una sequenza di numeri. A occuparsi di questa trasformazione è il tokenizer.

Il suo compito è dividere il testo in piccoli frammenti, chiamati token, e assegnare a ciascuno un identificatore numerico. Il modello utilizza questi numeri per elaborare le informazioni e generare una risposta, che viene poi riconvertita in testo leggibile.

Il tokenizer funziona quindi come un traduttore tra il nostro linguaggio e quello utilizzato dal modello. Ma come decide dove dividere le parole?

## Come fa il tokenizer a dividere le parole?

Uno dei metodi più utilizzati si chiama Byte Pair Encoding, abbreviato BPE. Il principio è piuttosto semplice: durante la preparazione del tokenizer vengono analizzati grandi quantità di testi per individuare le combinazioni di caratteri che ricorrono più frequentemente.

Immaginiamo di costruire delle parole con i mattoncini. Se una combinazione di lettere compare molto spesso, conviene creare un mattoncino che le contenga già tutte. Le combinazioni più rare, invece, possono essere costruite unendo diversi pezzi più piccoli.

Il tokenizer impara così un vocabolario di frammenti riutilizzabili. Quando riceve un nuovo testo, applica le regole già apprese per suddividerlo in token, senza dover imparare tutto da capo.

## Perché alcune parole occupano più token di altre?

Una parola molto comune può essere rappresentata da un solo token, mentre un termine insolito potrebbe richiederne diversi. Questo accade perché il tokenizer non ragiona sul significato delle parole, ma utilizza le combinazioni presenti nel proprio vocabolario.

Anche piccoli cambiamenti possono influenzare il risultato. Per esempio, scrivere una parola in maiuscolo, aggiungere un numero o utilizzare caratteri particolari può modificare il modo in cui viene suddivisa.

Lo stesso vale per le lingue: un tokenizer allenato prevalentemente su testi inglesi potrebbe suddividere alcune parole italiane in più frammenti. Non esiste quindi una regola universale per stabilire quanti token contiene una parola.

## Perché tokenizer diversi producono risultati diversi?

Non tutte le intelligenze artificiali utilizzano lo stesso tokenizer. Ogni sistema può avere un vocabolario differente, costruito con algoritmi e testi di riferimento diversi.

Di conseguenza, la stessa identica frase potrebbe occupare 15 token su un modello e 20 su un altro. Il testo non cambia, ma cambia il modo in cui viene suddiviso. È anche per questo che i contatori di token devono tenere conto del modello utilizzato.

La differenza si può osservare facilmente su Tokenometro. Basta incollare una frase nel contatore, osservare il risultato e provare a modificarla, magari aggiungendo numeri, simboli o parole più lunghe.

È un piccolo esperimento che permette di vedere come lavora un tokenizer e scoprire perché due testi apparentemente simili possono avere un costo differente quando vengono elaborati da un modello AI.

## Lo stesso italiano, due tokenizer

Conteggi locali del solo testo mostrato, senza messaggi di sistema, documento da riassumere o output. Non sono il conteggio ufficiale di tutti i modelli e non misurano la qualità della risposta.

| Esempio | Testo esatto | cl100k_base | o200k_base |
| --- | --- | --- | --- |
| Istruzione originale | Per favore, vorrei che tu mi aiutassi a riassumere il testo che trovi qui sotto. Ti chiedo di essere breve e conciso, di non dilungarti e di usare esattamente tre punti elenco. Non aggiungere informazioni che non sono presenti nel testo. | 69 | 58 |
| Istruzione rivista | Riassumi il testo seguente in tre punti elenco. Usa soltanto le informazioni presenti nel testo. | 29 | 21 |
| Accenti, numeri ed emoji | Caffè, città e sostenibilità: l’AI legge anche accenti, numeri 123 ed emoji 🌱. | 30 | 26 |

Misurato il 2026-10-11 con tiktoken 0.12.0 e encode_ordinary. La versione breve conserva compito e formato richiesto: verificarne l'efficacia sul documento reale resta necessario.

## Fonti

- [Tokenization algorithms, Hugging Face](https://huggingface.co/docs/transformers/tokenizer_summary)
- [Byte-Pair Encoding tokenization, Hugging Face LLM Course](https://huggingface.co/learn/llm-course/en/chapter6/5)
- [Tiktoken: a fast BPE tokenizer, OpenAI](https://github.com/openai/tiktoken)

## Letture correlate

- [Cosa sono i token AI](https://www.tokenometro.it/guide/cosa-sono-token-ai/index.md)
- [Token, parole e caratteri: qual è la differenza?](https://www.tokenometro.it/guide/parole-caratteri-token/index.md)
- [Come contare i token di un testo](https://www.tokenometro.it/guide/come-contare-token-ai/index.md)
