Conteggio

Come contare i token di un testo

Per il semplice testo un tokenizer locale può bastare. Per richieste complete con messaggi, file, immagini o tool, il conteggio ufficiale del provider è generalmente più preciso.

Un progetto di YADA Digital · Metodo e responsabilità editoriale

Prima definisci che cosa vuoi misurare

Contare un testo isolato e contare una richiesta sono due operazioni diverse. Nel primo caso ti interessa la stringa; nel secondo anche ciò che l'applicazione aggiunge. Parti quindi da una domanda concreta: vuoi confrontare due formulazioni, verificare un limite oppure stimare il consumo di una funzionalità?

Per confrontare revisioni di un prompt, una misura locale coerente è spesso utile. Per una richiesta reale, prepara invece tutti gli elementi che saranno inviati: istruzioni, messaggi, strumenti ed eventuali allegati. Scrivi questa distinzione accanto ai risultati. Un numero presentato senza dire che cosa include può sembrare preciso e portare comunque a una decisione sbagliata.

Scegli il metodo adatto al modello

Un tokenizer locale compatibile permette di misurare il testo senza una generazione. Alcuni provider offrono anche metodi dedicati per contare l'input strutturato: Anthropic documenta il token counting e Google espone count_tokens nel proprio SDK. Verifica sempre il modello destinatario e il tipo di input supportato.

Non usare il conteggio di un modello come certificazione per un altro. Quando provi un nuovo provider, conserva un insieme di richieste rappresentative e ripeti le misure con i suoi strumenti. Se il tuo contatore dichiara una stima o un'approssimazione, mantieni quell'etichetta anche negli appunti o nei report che produci: copiarne il numero non lo rende automaticamente una misura esatta.

Un flusso di lavoro ripetibile

Salva il prompt originale e prepara una versione più compatta. Conta entrambe con le stesse impostazioni. Poi controlla che la seconda conservi obiettivo, dati essenziali, formato atteso ed eccezioni importanti. Il confronto serve a misurare una modifica editoriale precisa, non a premiare qualunque testo più corto.

Per una funzione in produzione, raccogli richieste brevi, normali e lunghe. Registra il conteggio preventivo, poi il consumo dichiarato dopo l'esecuzione. Aggiungi lo stato della risposta: un risultato interrotto non è equivalente a uno completo. In questo modo puoi decidere quanta riserva lasciare e capire se il tuo preventivo sottostima sistematicamente qualche parte della richiesta.

Dalla misura alla decisione

Se il testo si avvicina al limite, individua prima i blocchi meno utili. Un'introduzione ripetuta, una cronologia non pertinente o un allegato duplicato sono candidati migliori delle istruzioni necessarie. Riduci un elemento alla volta e ripeti la misura, così sai da dove arriva il miglioramento.

Se invece l'obiettivo è il costo, il conteggio dell'input non basta a prevedere l'output. Prepara scenari diversi per la lunghezza della risposta e verifica quelli plausibili con un campione. Conserva data, modello e condizioni del confronto. Un procedimento documentato permette di aggiornare il risultato quando cambiano i modelli; una conversione a memoria tra parole e token non offre la stessa possibilità di controllo.

Lo stesso italiano, due tokenizer

Conteggi locali del solo testo mostrato, senza messaggi di sistema, documento da riassumere o output. Non sono il conteggio ufficiale di tutti i modelli e non misurano la qualità della risposta.

Lo stesso italiano, due tokenizer
EsempioTesto esattocl100k_baseo200k_base
Istruzione originalePer favore, vorrei che tu mi aiutassi a riassumere il testo che trovi qui sotto. Ti chiedo di essere breve e conciso, di non dilungarti e di usare esattamente tre punti elenco. Non aggiungere informazioni che non sono presenti nel testo.6958
Istruzione rivistaRiassumi il testo seguente in tre punti elenco. Usa soltanto le informazioni presenti nel testo.2921
Accenti, numeri ed emojiCaffè, città e sostenibilità: l’AI legge anche accenti, numeri 123 ed emoji 🌱.3026

Misurato il 2026-10-11 con tiktoken 0.12.0 e encode_ordinary. La versione breve conserva compito e formato richiesto: verificarne l'efficacia sul documento reale resta necessario.

Per approfondire

Fonti e aggiornamenti

Questa guida si basa sulle fonti indicate. Consultale per un approfondimento!

Ultima verifica editoriale: .

Dalla teoria al tuo prompt.

Scopri quanto pesano le tue parole e sperimenta nuove idee.

Apri il contatore