Non tutti i limiti producono lo stesso effetto
Una richiesta troppo grande può essere rifiutata; una generazione può invece fermarsi perché raggiunge il limite di output. Un'applicazione può anche applicare proprie politiche di selezione o compattazione della cronologia. Per capire cosa è successo, leggi lo stato e il motivo di terminazione restituiti dal servizio.
Evita l'idea che ogni modello elimini automaticamente i messaggi più vecchi nello stesso modo. Il comportamento dipende dall'API e dall'applicazione. Se una risposta sembra aver perso un dettaglio, non attribuirlo subito alla finestra piena: potrebbe essere mancato nel contesto, essere stato riassunto male oppure non essere stato utilizzato correttamente. La diagnosi richiede osservare la richiesta effettiva.
Distinguere input e output insufficienti
Se l'input supera il limite ammesso, occorre ridurre o riorganizzare il materiale fornito. Se invece la risposta viene troncata dal limite di generazione, tagliare casualmente la domanda potrebbe non risolvere il problema. Nei modelli con reasoning, anche l'elaborazione non visibile può utilizzare parte del budget di output.
Immagina di chiedere una relazione lunga con un tetto molto basso: una risposta interrotta è prevedibile anche con un documento breve. Viceversa, inviare un archivio enorme per ottenere una sola etichetta può saturare l'input. Registra questi casi separatamente. Ti permette di decidere se ridurre il contesto, cambiare il formato del risultato oppure modificare il limite compatibile con il modello.
Recuperare il lavoro senza perdere i vincoli
Prima di rimuovere messaggi, identifica ciò che deve sopravvivere: obiettivo, decisioni approvate, dati fondamentali, vincoli e attività ancora aperte. Trasforma questo materiale in una sintesi verificabile. Conserva riferimenti ai documenti originali quando i dettagli potrebbero servire in seguito.
Per esempio, in una revisione di un contratto, un riassunto generico come «abbiamo controllato le clausole» è poco utile. Servono le clausole esaminate, i punti ancora dubbi e i riferimenti alle versioni corrette. La sintesi non deve inventare certezze né cancellare eccezioni. Prima di continuare, confrontala con le informazioni essenziali e correggi le omissioni che cambierebbero le decisioni successive.
Prevenire nuovi arresti
Imposta una politica di gestione del contesto prima di arrivare al limite. Puoi recuperare solo i documenti pertinenti, sostituire parti storiche con sintesi oppure usare funzioni di compaction dove disponibili. La scelta dipende da quanto è importante mantenere dettagli e continuità per quel compito.
Monitora la crescita della richiesta e lascia una riserva per il risultato. Evita tentativi automatici identici dopo un errore di dimensione: senza cambiare input o impostazioni, ripetere l'operazione non affronta la causa. Dopo una riduzione, verifica un caso che richieda un dettaglio precedente. Il successo non è soltanto far partire la chiamata; è permettere al sistema di concludere il lavoro usando ancora le informazioni corrette.
Per approfondire
Fonti e aggiornamenti
Questa guida si basa sulle fonti indicate. Consultale per un approfondimento!
Ultima verifica editoriale: .