Prima definisci che cosa vuoi misurare
Contare un testo isolato e contare una richiesta sono due operazioni diverse. Nel primo caso ti interessa la stringa; nel secondo anche ciò che l'applicazione aggiunge. Parti quindi da una domanda concreta: vuoi confrontare due formulazioni, verificare un limite oppure stimare il consumo di una funzionalità?
Per confrontare revisioni di un prompt, una misura locale coerente è spesso utile. Per una richiesta reale, prepara invece tutti gli elementi che saranno inviati: istruzioni, messaggi, strumenti ed eventuali allegati. Scrivi questa distinzione accanto ai risultati. Un numero presentato senza dire che cosa include può sembrare preciso e portare comunque a una decisione sbagliata.
Scegli il metodo adatto al modello
Un tokenizer locale compatibile permette di misurare il testo senza una generazione. Alcuni provider offrono anche metodi dedicati per contare l'input strutturato: Anthropic documenta il token counting e Google espone count_tokens nel proprio SDK. Verifica sempre il modello destinatario e il tipo di input supportato.
Non usare il conteggio di un modello come certificazione per un altro. Quando provi un nuovo provider, conserva un insieme di richieste rappresentative e ripeti le misure con i suoi strumenti. Se il tuo contatore dichiara una stima o un'approssimazione, mantieni quell'etichetta anche negli appunti o nei report che produci: copiarne il numero non lo rende automaticamente una misura esatta.
Un flusso di lavoro ripetibile
Salva il prompt originale e prepara una versione più compatta. Conta entrambe con le stesse impostazioni. Poi controlla che la seconda conservi obiettivo, dati essenziali, formato atteso ed eccezioni importanti. Il confronto serve a misurare una modifica editoriale precisa, non a premiare qualunque testo più corto.
Per una funzione in produzione, raccogli richieste brevi, normali e lunghe. Registra il conteggio preventivo, poi il consumo dichiarato dopo l'esecuzione. Aggiungi lo stato della risposta: un risultato interrotto non è equivalente a uno completo. In questo modo puoi decidere quanta riserva lasciare e capire se il tuo preventivo sottostima sistematicamente qualche parte della richiesta.
Dalla misura alla decisione
Se il testo si avvicina al limite, individua prima i blocchi meno utili. Un'introduzione ripetuta, una cronologia non pertinente o un allegato duplicato sono candidati migliori delle istruzioni necessarie. Riduci un elemento alla volta e ripeti la misura, così sai da dove arriva il miglioramento.
Se invece l'obiettivo è il costo, il conteggio dell'input non basta a prevedere l'output. Prepara scenari diversi per la lunghezza della risposta e verifica quelli plausibili con un campione. Conserva data, modello e condizioni del confronto. Un procedimento documentato permette di aggiornare il risultato quando cambiano i modelli; una conversione a memoria tra parole e token non offre la stessa possibilità di controllo.
Lo stesso italiano, due tokenizer
Conteggi locali del solo testo mostrato, senza messaggi di sistema, documento da riassumere o output. Non sono il conteggio ufficiale di tutti i modelli e non misurano la qualità della risposta.
| Esempio | Testo esatto | cl100k_base | o200k_base |
|---|---|---|---|
| Istruzione originale | Per favore, vorrei che tu mi aiutassi a riassumere il testo che trovi qui sotto. Ti chiedo di essere breve e conciso, di non dilungarti e di usare esattamente tre punti elenco. Non aggiungere informazioni che non sono presenti nel testo. | 69 | 58 |
| Istruzione rivista | Riassumi il testo seguente in tre punti elenco. Usa soltanto le informazioni presenti nel testo. | 29 | 21 |
| Accenti, numeri ed emoji | Caffè, città e sostenibilità: l’AI legge anche accenti, numeri 123 ed emoji 🌱. | 30 | 26 |
Misurato il 2026-10-11 con tiktoken 0.12.0 e encode_ordinary. La versione breve conserva compito e formato richiesto: verificarne l'efficacia sul documento reale resta necessario.
Per approfondire
Fonti e aggiornamenti
Questa guida si basa sulle fonti indicate. Consultale per un approfondimento!
Ultima verifica editoriale: .