Le basi

Token, parole e caratteri: qual è la differenza?

Una parola può occupare uno o più token, mentre punteggiatura, spazi e parti di parola possono diventare token separati. La lingua e il tokenizer fanno la differenza.

Un progetto di YADA Digital · Metodo e responsabilità editoriale

Tre misure, tre domande diverse

Le parole descrivono la lunghezza linguistica di un testo; i caratteri ne descrivono una dimensione testuale; i token dipendono dalla rappresentazione usata dal modello. Sono misure utili, ma non intercambiabili. Un editor e un contatore AI possono quindi riportare numeri differenti senza che uno dei due sia guasto.

Prima di confrontare due strumenti, chiediti anche cosa chiamano «carattere» o «parola». Spazi, apostrofi e simboli possono essere trattati in modi diversi. Per scrivere entro un limite editoriale usa la metrica richiesta dall'editore. Per verificare la dimensione dell'input di un modello usa invece il conteggio appropriato per quel modello e quel tipo di richiesta.

Perché una conversione fissa inganna

Una formula del tipo «dividi i caratteri per quattro» può servire come orientamento grossolano, ma non certifica la dimensione di una richiesta. Cambiando lingua, tipo di testo o tokenizer, cambia anche il rapporto. Non usarla quando sei vicino a un limite o quando devi ricostruire un costo effettivo.

Considera una scheda prodotto con prosa italiana, misure, codici e URL. Un rapporto ricavato da un paragrafo narrativo potrebbe rappresentarla male. Lo stesso vale per un file JSON pieno di chiavi ripetute o per un elenco di identificativi. La scelta ragionevole è misurare esempi del materiale che userai davvero, senza trasferire medie da testi completamente diversi.

Un confronto che puoi fare subito

Prepara tre campioni di dimensioni simili: una mail, una tabella in testo e un blocco di codice. Registra parole, caratteri e token di ciascuno. Mantieni fisso il tokenizer e conserva gli originali. Anche se i primi due numeri risultano vicini, il terzo può raccontare una storia diversa.

Poi prova una modifica utile: togli dalla mail una premessa ripetuta oppure dalla tabella una colonna non necessaria. Osserva come variano tutte le misure. Il risultato ti aiuta a scegliere interventi sensati sul contenuto. Evita modifiche meccaniche come eliminare tutti gli spazi dal codice o sostituire parole chiare con abbreviazioni che il destinatario potrebbe non comprendere.

Quale numero usare nelle decisioni

Se devi stimare il tempo di lettura umano, parti dalle parole e considera la difficoltà del testo. Se devi rispettare un limite di un campo, controlla la definizione di carattere adottata dal sistema. Se devi inviare materiale a un modello, verifica token, limiti e modalità supportate dal provider.

Per una chat completa, considera che il messaggio visibile può essere solo una parte dell'input. Per un'immagine o un file audio, il conteggio delle parole è ancora meno rappresentativo. Tieni separati questi piani nella tua interfaccia o nei tuoi appunti: «parole del documento» e «token della richiesta» sono etichette più utili di un generico «dimensione». Una misura precisa diventa affidabile soltanto quando è chiaro che cosa misura.

Lo stesso italiano, due tokenizer

Conteggi locali del solo testo mostrato, senza messaggi di sistema, documento da riassumere o output. Non sono il conteggio ufficiale di tutti i modelli e non misurano la qualità della risposta.

Lo stesso italiano, due tokenizer
EsempioTesto esattocl100k_baseo200k_base
Istruzione originalePer favore, vorrei che tu mi aiutassi a riassumere il testo che trovi qui sotto. Ti chiedo di essere breve e conciso, di non dilungarti e di usare esattamente tre punti elenco. Non aggiungere informazioni che non sono presenti nel testo.6958
Istruzione rivistaRiassumi il testo seguente in tre punti elenco. Usa soltanto le informazioni presenti nel testo.2921
Accenti, numeri ed emojiCaffè, città e sostenibilità: l’AI legge anche accenti, numeri 123 ed emoji 🌱.3026

Misurato il 2026-10-11 con tiktoken 0.12.0 e encode_ordinary. La versione breve conserva compito e formato richiesto: verificarne l'efficacia sul documento reale resta necessario.

Per approfondire

Fonti e aggiornamenti

Questa guida si basa sulle fonti indicate. Consultale per un approfondimento!

Ultima verifica editoriale: .

Dalla teoria al tuo prompt.

Scopri quanto pesano le tue parole e sperimenta nuove idee.

Apri il contatore