Il punto di partenza ufficiale
Anthropic offre il token counting per stimare l'input prima della generazione. L'endpoint Messages dedicato è /v1/messages/count_tokens; nello SDK il metodo è messages.count_tokens. Devi indicare il modello che userai e rappresentare il contenuto della richiesta, includendo gli elementi supportati che intendi realmente inviare.
Questo controllo è utile prima di elaborare un documento lungo o quando scegli tra configurazioni con limiti diversi. Evita invece di riutilizzare un conteggio ottenuto per un altro modello soltanto perché appartiene alla stessa famiglia. Per avere un confronto leggibile, mantieni insieme richiesta originale, identificatore del modello e valore restituito, senza trasformare una stima in una promessa di consumo esatto.
Perché il risultato resta una stima
La documentazione Anthropic chiarisce che il numero può differire leggermente dall'input osservato durante la creazione del messaggio. Può inoltre includere token aggiunti per ottimizzazioni di sistema che non vengono fatturati. Queste informazioni sono importanti quando confronti un preventivo con i dati di uso.
Se stai costruendo un budget, non moltiplicare ciecamente ogni valore preventivo per una tariffa. Registra anche i consumi delle generazioni reali e controlla come sono suddivisi. Per la gestione del contesto, lascia un margine coerente con il lavoro richiesto. Una richiesta al limite è più fragile di una che conserva spazio per la risposta e per le informazioni necessarie al compito.
Un esempio di procedura
Immagina un assistente che risponde su un manuale tecnico. Prepara istruzioni, manuale e domanda nel formato effettivo. Conta l'input per il modello scelto. Poi prepara una variante contenente soltanto i capitoli pertinenti e confronta la dimensione. Verifica che le informazioni necessarie alla risposta siano ancora presenti.
Esegui un campione di domande che richieda capitoli diversi, comprese quelle per cui il manuale non offre una risposta. Una riduzione del testo è utile solo se il sistema continua a distinguere ciò che sa da ciò che manca. Conserva i risultati per individuare se la selezione dei capitoli è troppo aggressiva oppure se stai trascinando materiale irrilevante in ogni richiesta.
Conteggio e cache hanno ruoli diversi
Il token counting non crea la cache del prompt. Anthropic specifica che il caching avviene durante la creazione effettiva dei messaggi, anche se nella richiesta di conteggio sono presenti controlli della cache. Non considerare quindi una serie di conteggi preventivi come un modo per preparare automaticamente richieste scontate.
Nella tua interfaccia separa «dimensione stimata dell'input» da «token letti dalla cache». Per analizzare un'applicazione ripetitiva, raccogli entrambe le informazioni nei rispettivi momenti. Controlla infine limiti e documentazione quando aggiorni SDK o modello. Un'integrazione affidabile non dipende da un numero scritto una volta nel codice, ma da una richiesta corretta e da un confronto periodico con l'uso effettivamente dichiarato dal servizio.
Per approfondire
Fonti e aggiornamenti
Questa guida si basa sulle fonti indicate. Consultale per un approfondimento!
Ultima verifica editoriale: .