Come contiamo i token, e che cosa resta fuori

Misurazione senza log e senza coinvoglimento di API di terze parti.

Un progetto di YADA Digital · Metodo e responsabilità editoriale

Che cosa conta Tokenometro

Il contatore pubblico misura il testo che invii, oppure il contenuto di un file testuale UTF-8 fino a 2048 KB. L’elaborazione avviene sul server di Tokenometro, senza inoltro ai provider AI. Il contenuto non viene archiviato internamente dall’applicazione che non conserva alcun log del testo inviato; ulteriori dati tecnici dell’infrastruttura sono descritti nelle note legali.

Il modello selezionato determina il tokenizer locale dichiarato, il listino e la capacità di contesto usati nelle stime. Per alcuni modelli il vocabolario locale è un’approssimazione storica o di una famiglia diversa: la selezione del nome non rende il risultato un conteggio ufficiale.

Perché il conteggio può differire dalle API · Dati e note legali

Il metodo delle simulazioni pubbliche

Questi sono i modelli iniziali per provider. Il selettore e il risultato dichiarano il tokenizer utilizzato anche quando cambi modello. Le API ufficiali sono una modalità separata, soggetta ad autenticazione e configurazione del servizio; non vengono chiamate dal contatore pubblico.

Il metodo delle simulazioni pubbliche
ProviderModello inizialeTokenizer localeLimite
OpenAIgpt-6.1-solo200k_baseSimulazione del testo; non certifica il totale della richiesta API.
Anthropicclaude-fable-5-1claude-legacySimulazione del testo; non certifica il totale della richiesta API.
Googlegemini-3.8-flashgemma4Simulazione del testo; non certifica il totale della richiesta API.
xAIgrok-4.7grok1Simulazione del testo; non certifica il totale della richiesta API.

La disponibilità di un modello nel selettore non implica l'uso del suo tokenizer ufficiale.

Costi e contesto: leggere una stima

Il costo mostrato dal contatore riguarda soltanto l’input: token × tariffa per milione, convertita in euro con il cambio datato indicato nell’interfaccia. Output, cache, strumenti, imposte e condizioni del servizio possono cambiare il totale. Il contesto disponibile deve contenere anche gli altri messaggi e lo spazio necessario per la risposta.

Confronta costi e ipotesi di calcolo · Distingui input e output

Lo stesso italiano, due tokenizer

Conteggi locali del solo testo mostrato, senza messaggi di sistema, documento da riassumere o output. Non sono il conteggio ufficiale di tutti i modelli e non misurano la qualità della risposta.

Lo stesso italiano, due tokenizer
EsempioTesto esattocl100k_baseo200k_base
Istruzione originalePer favore, vorrei che tu mi aiutassi a riassumere il testo che trovi qui sotto. Ti chiedo di essere breve e conciso, di non dilungarti e di usare esattamente tre punti elenco. Non aggiungere informazioni che non sono presenti nel testo.6958
Istruzione rivistaRiassumi il testo seguente in tre punti elenco. Usa soltanto le informazioni presenti nel testo.2921
Accenti, numeri ed emojiCaffè, città e sostenibilità: l’AI legge anche accenti, numeri 123 ed emoji 🌱.3026

Misurato il 2026-10-11 con tiktoken 0.12.0 e encode_ordinary. La versione breve conserva compito e formato richiesto: verificarne l'efficacia sul documento reale resta necessario.

Riprodurre gli esempi

Gli esempi sono testi italiani di prova, non contenuti raccolti dagli utenti. Il dataset include il testo esatto, la versione di tiktoken, la data di misura e i conteggi ottenuti con encode_ordinary. Il checksum SHA-256 identifica il contenuto dei campioni, serializzati in JSON UTF-8 con chiavi ordinate e senza spazi aggiuntivi.

Scarica testi e conteggi in JSON

SHA-256: 86a897793b6fa585d920465197639b58baaabe1b7df16fddd34b8b2959037e18

import tiktoken

text = 'Riassumi il testo seguente in tre punti elenco. Usa soltanto le informazioni presenti nel testo.'
for name in ('cl100k_base', 'o200k_base'):
    encoding = tiktoken.get_encoding(name)
    print(name, len(encoding.encode_ordinary(text)))

La differenza fra i due prompt misura soltanto le istruzioni: il documento da riassumere non è incluso. Non è stata misurata la qualità delle risposte né una riduzione del costo totale del servizio.

Chi sviluppa il progetto e come aggiorniamo le guide

Tokenometro è un progetto di YADA Digital — Michele Romanin. Il gestore e i recapiti sono indicati nelle note legali. Le guide distinguono fonti primarie, esempi illustrativi e misure locali; puoi segnalare errori o dati da aggiornare al gestore.

La data di verifica delle fonti non equivale alla pubblicazione dell’articolo. Quando aggiungiamo esempi o modifichiamo una guida, indichiamo separatamente la data dell’aggiornamento. Listini e caratteristiche dei modelli restano dati soggetti a variazione: consulta sempre il provider per l’uso operativo.

Segnala una correzione a YADA Digital · Tutte le guide