Tre misure, tre domande diverse
Le parole descrivono la lunghezza linguistica di un testo; i caratteri ne descrivono una dimensione testuale; i token dipendono dalla rappresentazione usata dal modello. Sono misure utili, ma non intercambiabili. Un editor e un contatore AI possono quindi riportare numeri differenti senza che uno dei due sia guasto.
Prima di confrontare due strumenti, chiediti anche cosa chiamano «carattere» o «parola». Spazi, apostrofi e simboli possono essere trattati in modi diversi. Per scrivere entro un limite editoriale usa la metrica richiesta dall'editore. Per verificare la dimensione dell'input di un modello usa invece il conteggio appropriato per quel modello e quel tipo di richiesta.
Perché una conversione fissa inganna
Una formula del tipo «dividi i caratteri per quattro» può servire come orientamento grossolano, ma non certifica la dimensione di una richiesta. Cambiando lingua, tipo di testo o tokenizer, cambia anche il rapporto. Non usarla quando sei vicino a un limite o quando devi ricostruire un costo effettivo.
Considera una scheda prodotto con prosa italiana, misure, codici e URL. Un rapporto ricavato da un paragrafo narrativo potrebbe rappresentarla male. Lo stesso vale per un file JSON pieno di chiavi ripetute o per un elenco di identificativi. La scelta ragionevole è misurare esempi del materiale che userai davvero, senza trasferire medie da testi completamente diversi.
Un confronto che puoi fare subito
Prepara tre campioni di dimensioni simili: una mail, una tabella in testo e un blocco di codice. Registra parole, caratteri e token di ciascuno. Mantieni fisso il tokenizer e conserva gli originali. Anche se i primi due numeri risultano vicini, il terzo può raccontare una storia diversa.
Poi prova una modifica utile: togli dalla mail una premessa ripetuta oppure dalla tabella una colonna non necessaria. Osserva come variano tutte le misure. Il risultato ti aiuta a scegliere interventi sensati sul contenuto. Evita modifiche meccaniche come eliminare tutti gli spazi dal codice o sostituire parole chiare con abbreviazioni che il destinatario potrebbe non comprendere.
Quale numero usare nelle decisioni
Se devi stimare il tempo di lettura umano, parti dalle parole e considera la difficoltà del testo. Se devi rispettare un limite di un campo, controlla la definizione di carattere adottata dal sistema. Se devi inviare materiale a un modello, verifica token, limiti e modalità supportate dal provider.
Per una chat completa, considera che il messaggio visibile può essere solo una parte dell'input. Per un'immagine o un file audio, il conteggio delle parole è ancora meno rappresentativo. Tieni separati questi piani nella tua interfaccia o nei tuoi appunti: «parole del documento» e «token della richiesta» sono etichette più utili di un generico «dimensione». Una misura precisa diventa affidabile soltanto quando è chiaro che cosa misura.
Lo stesso italiano, due tokenizer
Conteggi locali del solo testo mostrato, senza messaggi di sistema, documento da riassumere o output. Non sono il conteggio ufficiale di tutti i modelli e non misurano la qualità della risposta.
| Esempio | Testo esatto | cl100k_base | o200k_base |
|---|---|---|---|
| Istruzione originale | Per favore, vorrei che tu mi aiutassi a riassumere il testo che trovi qui sotto. Ti chiedo di essere breve e conciso, di non dilungarti e di usare esattamente tre punti elenco. Non aggiungere informazioni che non sono presenti nel testo. | 69 | 58 |
| Istruzione rivista | Riassumi il testo seguente in tre punti elenco. Usa soltanto le informazioni presenti nel testo. | 29 | 21 |
| Accenti, numeri ed emoji | Caffè, città e sostenibilità: l’AI legge anche accenti, numeri 123 ed emoji 🌱. | 30 | 26 |
Misurato il 2026-10-11 con tiktoken 0.12.0 e encode_ordinary. La versione breve conserva compito e formato richiesto: verificarne l'efficacia sul documento reale resta necessario.
Per approfondire
Fonti e aggiornamenti
Questa guida si basa sulle fonti indicate. Consultale per un approfondimento!
Ultima verifica editoriale: .