Reasoning

Perché i token di output sono più del testo visibile?

Il testo finale non racconta sempre tutta la storia. Alcuni modelli generano anche reasoning e token di struttura che possono comparire nel consumo ma non nella risposta visibile.

Un progetto di YADA Digital · Metodo e responsabilità editoriale

Il testo finale è solo una vista

Un'interfaccia può mostrare la risposta finale e nascondere altri elementi generati durante l'esecuzione. Contare quel testo significa misurare la parte visualizzata. Non significa necessariamente ricostruire il totale restituito dall'API. È quindi possibile osservare una differenza anche usando il tokenizer corretto.

La documentazione OpenAI sul conteggio segnala che il consumo di output può includere token non visibili di struttura o formattazione. Questo può accadere anche quando il dettaglio del reasoning è zero. Non attribuire automaticamente ogni differenza al ragionamento: prima verifica che cosa è stato generato, quale endpoint hai usato e quali elementi l'applicazione ha scelto di mostrare.

Tool e passaggi intermedi

Un assistente che consulta uno strumento può generare una chiamata con argomenti, ricevere il risultato e produrre una risposta successiva. Se l'interfaccia mostra soltanto l'ultima frase, una parte del lavoro resta fuori dal testo che stai ricontando. Inoltre, una singola azione dell'utente può corrispondere a più richieste al modello.

Immagina una domanda sulla disponibilità di un prodotto. L'assistente prepara la ricerca, consulta il catalogo e risponde «Disponibile in due colori». Un confronto corretto deve collegare i consumi ai singoli passaggi. Conserva gli identificatori delle richieste e i relativi dati di uso; evita di paragonare il totale di tutta l'operazione al solo ultimo messaggio.

Una procedura per capire lo scarto

Parti da una richiesta semplice, senza strumenti, e conserva la risposta API completa nei tuoi sistemi di diagnosi appropriati. Annota modello, parametri, stato finale e campi di consumo. Riconta poi il solo testo visibile, dichiarando esplicitamente che è una misura parziale. Questo crea una base comprensibile per il confronto.

Aggiungi successivamente una funzione o un formato strutturato e osserva che cosa cambia. Non cambiare contemporaneamente modello e prompt se vuoi individuare la causa. Controlla anche se l'interfaccia elimina spazi, normalizza il testo o combina più risposte: la stringa visualizzata potrebbe non essere identica a quella originale. Una differenza documentata non va corretta sostituendo arbitrariamente il totale ufficiale con un conteggio locale.

Evitare errori nel riepilogo dei costi

Organizza il tuo prospetto per richiesta e usa i campi secondo la definizione del provider. Mantieni separati totale e dettagli: una sottocategoria già compresa nel totale non va sommata una seconda volta. Se mancano informazioni, mostra il limite della ricostruzione anziché inventare una quota di token nascosti.

Per un'applicazione con agenti, aggiungi un livello di riepilogo per attività completata. Somma i consumi delle richieste effettivamente eseguite e registra separatamente le eventuali tariffe degli strumenti. Questo rende spiegabile il costo per l'utente senza promettere una corrispondenza tra ogni parola sullo schermo e una voce di fattura. Quando lo scarto resta inspiegato, usa gli identificatori delle richieste per confrontarti con il supporto del provider.

Per approfondire

Fonti e aggiornamenti

Questa guida si basa sulle fonti indicate. Consultale per un approfondimento!

Ultima verifica editoriale: .

Dalla teoria al tuo prompt.

Scopri quanto pesano le tue parole e sperimenta nuove idee.

Apri il contatore