Confronta prima il perimetro
Quando due conteggi non coincidono, la prima verifica riguarda il testo misurato. Hai contato soltanto la domanda oppure l'intera richiesta? Il backend potrebbe aggiungere istruzioni, cronologia, descrizioni degli strumenti o contenuti recuperati da documenti. Queste parti non sono sempre visibili nell'area in cui scrivi.
Crea un elenco dei blocchi effettivamente inviati e confrontalo con ciò che hai incollato nel tokenizer. Spesso questa operazione è più utile che provare una formula di correzione. Non aggiungere un numero fisso di token «per sicurezza» e poi trattarlo come una spiegazione: uno scarto può avere cause diverse e variare da una richiesta all'altra.
Modello e impostazioni devono coincidere
Un tokenizer compatibile con un modello può produrre un risultato diverso da quello usato da un altro. Anche l'endpoint e la struttura dei messaggi contano. Per confrontare seriamente due misure, conserva il nome preciso del modello, il testo originale e le opzioni significative della richiesta.
Controlla inoltre le trasformazioni operate dall'applicazione: spazi rimossi, a capo normalizzati, allegati convertiti o parti di documento estratte. Se il testo cambia lungo il percorso, il conteggio della versione iniziale non descrive più esattamente la versione elaborata. Per la diagnosi usa un campione non sensibile e osserva la richiesta finale, evitando di registrare indiscriminatamente contenuti riservati degli utenti.
Una stima preventiva non è una fattura
Gli endpoint di conteggio hanno uno scopo preciso. Anthropic, per esempio, definisce il proprio risultato una stima e segnala che alcuni token aggiunti dal sistema possono essere presenti nel conteggio senza essere fatturati. Per questo non bisogna trasformare qualsiasi numero preventivo in un importo definitivo.
Se stai controllando una spesa, parti dai campi di consumo della generazione e dalle regole di fatturazione corrispondenti. Se stai verificando lo spazio disponibile, considera invece la richiesta completa e il margine necessario per la risposta. Sono due verifiche collegate, ma uno stesso scarto non ha necessariamente lo stesso significato per entrambe.
Come isolare il problema
Riduci il caso a una frase semplice e verifica modello e metodo. Poi aggiungi, uno per volta, system prompt, cronologia, schema di un tool e allegato. Registra il valore dopo ogni passaggio. Questa sequenza rende visibile il contributo dei blocchi e aiuta a individuare dove compare una differenza inattesa.
Mantieni una tabella con conteggio locale, conteggio preventivo ufficiale e uso consuntivo, lasciando vuote le misure che non sono disponibili. Annota anche eventuali tentativi ripetuti: il totale di un'operazione può comprendere più chiamate. Se rimane uno scarto non spiegato, conserva identificatori e orari per un controllo successivo. È meglio dichiarare un margine d'incertezza documentato che nasconderlo dietro una percentuale scelta senza riscontri.
Lo stesso italiano, due tokenizer
Conteggi locali del solo testo mostrato, senza messaggi di sistema, documento da riassumere o output. Non sono il conteggio ufficiale di tutti i modelli e non misurano la qualità della risposta.
| Esempio | Testo esatto | cl100k_base | o200k_base |
|---|---|---|---|
| Istruzione originale | Per favore, vorrei che tu mi aiutassi a riassumere il testo che trovi qui sotto. Ti chiedo di essere breve e conciso, di non dilungarti e di usare esattamente tre punti elenco. Non aggiungere informazioni che non sono presenti nel testo. | 69 | 58 |
| Istruzione rivista | Riassumi il testo seguente in tre punti elenco. Usa soltanto le informazioni presenti nel testo. | 29 | 21 |
| Accenti, numeri ed emoji | Caffè, città e sostenibilità: l’AI legge anche accenti, numeri 123 ed emoji 🌱. | 30 | 26 |
Misurato il 2026-10-11 con tiktoken 0.12.0 e encode_ordinary. La versione breve conserva compito e formato richiesto: verificarne l'efficacia sul documento reale resta necessario.
Per approfondire
Fonti e aggiornamenti
Questa guida si basa sulle fonti indicate. Consultale per un approfondimento!
Ultima verifica editoriale: .