Prompt e agenti

Tool e function calling consumano token?

Un agente non riceve soltanto il tuo prompt. Anche la definizione dei tool e i loro risultati possono entrare nel contesto e contribuire al consumo complessivo.

Un progetto di YADA Digital · Metodo e responsabilità editoriale

Il costo comincia dalle definizioni

Uno strumento viene descritto al modello con nome, funzione e parametri. Nelle API OpenAI, le definizioni delle funzioni contribuiscono al contesto e ai token di input. Per questo un'applicazione con molte funzioni può avere una richiesta consistente prima ancora che l'utente scriva un messaggio lungo.

Controlla l'elenco degli strumenti effettivamente esposti in ogni fase. Un assistente che deve consultare un catalogo potrebbe non aver bisogno di tutte le funzioni amministrative dell'applicazione. Scegliere un insieme pertinente aiuta a ridurre il materiale e rende più semplice interpretare le decisioni del modello. Conserva comunque descrizioni sufficienti a distinguere strumenti simili e parametri che potrebbero essere facilmente confusi.

Chiamata e risultato entrano nel flusso

Il modello può generare una chiamata con argomenti; il programma esegue la funzione e restituisce dati da usare nel passaggio successivo. Questo produce una sequenza di lavoro più ampia della sola risposta finale. Un risultato molto verboso può quindi pesare anche sulle richieste successive.

Immagina una ricerca di prodotti che restituisca migliaia di righe quando ne servono cinque. Riduci il risultato alla selezione pertinente, mantenendo identificatori e campi necessari. Segnala quando l'elenco è parziale e consenti ulteriori ricerche se il compito le richiede. Tagliare l'output senza indicarlo può portare il modello a credere che non esistano altri risultati, trasformando un risparmio in un errore di interpretazione.

Tariffe dei tool e token sono voci diverse

Gli strumenti ospitati dal provider possono avere costi specifici oltre ai token. La documentazione xAI, per esempio, distingue consumo del modello e invocazioni degli strumenti server. Non applicare queste tariffe automaticamente alle funzioni eseguite dal tuo codice: il loro costo dipende anche dalla tua infrastruttura e dai servizi chiamati.

Nel prospetto economico separa token del modello, strumenti ospitati e servizi esterni. Per ogni voce registra l'unità fatturata e la fonte del prezzo. Una somma unica senza questa distinzione rende difficile capire se convenga accorciare il prompt, ridurre le ricerche o migliorare il modo in cui i risultati vengono filtrati prima di tornare al modello.

Ottimizza l'intera interazione

Parti da un'attività completa e annota strumenti disponibili, chiamate eseguite, dimensioni dei risultati e risposta finale. Cerca ripetizioni evitabili: ricerche identiche, letture di documenti già acquisiti o errori che causano tentativi senza nuove informazioni. Risolvi la causa invece di imporre un limite troppo basso che interrompa anche i casi validi.

Rendi gli schemi chiari e compatti, con nomi espliciti e vincoli utili. Per risultati grandi, preferisci filtri e selezioni a monte quando il servizio li supporta. Verifica infine che il percorso ottimizzato risponda ancora alle domande difficili. Il numero di chiamate è una misura del lavoro, ma il criterio finale resta ottenere un risultato corretto con un uso proporzionato di strumenti e contesto.

Per approfondire

Fonti e aggiornamenti

Questa guida si basa sulle fonti indicate. Consultale per un approfondimento!

Ultima verifica editoriale: .

Dalla teoria al tuo prompt.

Scopri quanto pesano le tue parole e sperimenta nuove idee.

Apri il contatore