# Come contare i token di un testo

Per il semplice testo un tokenizer locale può bastare. Per richieste complete con messaggi, file, immagini o tool, il conteggio ufficiale del provider è generalmente più preciso.

[Versione HTML](https://www.tokenometro.it/guide/come-contare-token-ai/)

Un progetto di YADA Digital. Metodo e limiti: https://www.tokenometro.it/metodologia/
Fonti verificate il: 2026-10-03

Contenuto aggiornato il: 2026-10-11

## Prima definisci che cosa vuoi misurare

Contare un testo isolato e contare una richiesta sono due operazioni diverse. Nel primo caso ti interessa la stringa; nel secondo anche ciò che l'applicazione aggiunge. Parti quindi da una domanda concreta: vuoi confrontare due formulazioni, verificare un limite oppure stimare il consumo di una funzionalità?

Per confrontare revisioni di un prompt, una misura locale coerente è spesso utile. Per una richiesta reale, prepara invece tutti gli elementi che saranno inviati: istruzioni, messaggi, strumenti ed eventuali allegati. Scrivi questa distinzione accanto ai risultati. Un numero presentato senza dire che cosa include può sembrare preciso e portare comunque a una decisione sbagliata.

## Scegli il metodo adatto al modello

Un tokenizer locale compatibile permette di misurare il testo senza una generazione. Alcuni provider offrono anche metodi dedicati per contare l'input strutturato: Anthropic documenta il token counting e Google espone count_tokens nel proprio SDK. Verifica sempre il modello destinatario e il tipo di input supportato.

Non usare il conteggio di un modello come certificazione per un altro. Quando provi un nuovo provider, conserva un insieme di richieste rappresentative e ripeti le misure con i suoi strumenti. Se il tuo contatore dichiara una stima o un'approssimazione, mantieni quell'etichetta anche negli appunti o nei report che produci: copiarne il numero non lo rende automaticamente una misura esatta.

## Un flusso di lavoro ripetibile

Salva il prompt originale e prepara una versione più compatta. Conta entrambe con le stesse impostazioni. Poi controlla che la seconda conservi obiettivo, dati essenziali, formato atteso ed eccezioni importanti. Il confronto serve a misurare una modifica editoriale precisa, non a premiare qualunque testo più corto.

Per una funzione in produzione, raccogli richieste brevi, normali e lunghe. Registra il conteggio preventivo, poi il consumo dichiarato dopo l'esecuzione. Aggiungi lo stato della risposta: un risultato interrotto non è equivalente a uno completo. In questo modo puoi decidere quanta riserva lasciare e capire se il tuo preventivo sottostima sistematicamente qualche parte della richiesta.

## Dalla misura alla decisione

Se il testo si avvicina al limite, individua prima i blocchi meno utili. Un'introduzione ripetuta, una cronologia non pertinente o un allegato duplicato sono candidati migliori delle istruzioni necessarie. Riduci un elemento alla volta e ripeti la misura, così sai da dove arriva il miglioramento.

Se invece l'obiettivo è il costo, il conteggio dell'input non basta a prevedere l'output. Prepara scenari diversi per la lunghezza della risposta e verifica quelli plausibili con un campione. Conserva data, modello e condizioni del confronto. Un procedimento documentato permette di aggiornare il risultato quando cambiano i modelli; una conversione a memoria tra parole e token non offre la stessa possibilità di controllo.

## Lo stesso italiano, due tokenizer

Conteggi locali del solo testo mostrato, senza messaggi di sistema, documento da riassumere o output. Non sono il conteggio ufficiale di tutti i modelli e non misurano la qualità della risposta.

| Esempio | Testo esatto | cl100k_base | o200k_base |
| --- | --- | --- | --- |
| Istruzione originale | Per favore, vorrei che tu mi aiutassi a riassumere il testo che trovi qui sotto. Ti chiedo di essere breve e conciso, di non dilungarti e di usare esattamente tre punti elenco. Non aggiungere informazioni che non sono presenti nel testo. | 69 | 58 |
| Istruzione rivista | Riassumi il testo seguente in tre punti elenco. Usa soltanto le informazioni presenti nel testo. | 29 | 21 |
| Accenti, numeri ed emoji | Caffè, città e sostenibilità: l’AI legge anche accenti, numeri 123 ed emoji 🌱. | 30 | 26 |

Misurato il 2026-10-11 con tiktoken 0.12.0 e encode_ordinary. La versione breve conserva compito e formato richiesto: verificarne l'efficacia sul documento reale resta necessario.

## Fonti

- [OpenAI · Advanced usage](https://developers.openai.com/api/docs/guides/advanced-usage)
- [Anthropic · Token counting](https://platform.claude.com/docs/en/build-with-claude/token-counting)
- [Google · Gemini tokens](https://ai.google.dev/gemini-api/docs/tokens)

## Letture correlate

- [Perché il conteggio dei token può essere diverso?](https://www.tokenometro.it/guide/perche-conteggio-token-diverso/index.md)
- [Come contare i token OpenAI](https://www.tokenometro.it/guide/contare-token-openai/index.md)
- [Come contare i token Claude](https://www.tokenometro.it/guide/contare-token-claude/index.md)
