Cache

Prompt caching: cos'è e perché fa risparmiare

Se molte richieste iniziano con lo stesso contenuto, il provider può riutilizzare il lavoro già fatto. È il principio del prompt caching.

Un progetto di YADA Digital · Metodo e responsabilità editoriale

Riutilizzare una parte dell'elaborazione

Il prompt caching permette al servizio di riutilizzare lavoro relativo a contenuti già elaborati. È utile quando molte richieste condividono istruzioni o materiale di riferimento. Modalità di attivazione, compatibilità e tariffe dipendono dal provider e dal modello, quindi non esiste una configurazione universale da copiare ovunque.

Distinguilo da una cache delle risposte: qui non stai necessariamente restituendo all'utente un risultato già pronto. La nuova richiesta può richiedere una risposta diversa sullo stesso documento. Per esempio, un manuale può essere riutilizzato per domande su installazione, manutenzione e garanzia. Il vantaggio potenziale riguarda la parte comune, mentre ogni domanda mantiene un proprio lavoro da svolgere.

Quando il riuso è plausibile

Osserva prima il tuo traffico. Ci sono blocchi lunghi e identici che tornano spesso? Le richieste arrivano abbastanza vicine da sfruttare le regole di conservazione disponibili? Se ogni input è completamente diverso, non basta attivare un'opzione per ottenere un risparmio significativo.

Costruisci un inventario di istruzioni stabili, esempi e documenti riutilizzati. Separa da questi blocchi dati variabili come domanda, data operativa e risultati aggiornati. Per i sistemi basati su prefissi, l'ordine è importante: modificare la parte iniziale può ridurre il riuso successivo. Verifica comunque il comportamento documentato, perché la semplice presenza di testo ripetuto non garantisce che la cache venga effettivamente utilizzata.

Il risparmio si misura su più richieste

Considera tutte le componenti previste dal listino: eventuale creazione della cache, letture, conservazione e token nuovi. Un prezzo di lettura basso non racconta da solo il costo del ciclo completo. Una cache creata per una sola domanda potrebbe non essere conveniente, mentre un contenuto riutilizzato molte volte può cambiare il risultato.

Prepara una prova con la frequenza reale della tua applicazione. Registra la prima richiesta e le successive, includendo quelle dopo una pausa. Confronta il totale con un percorso senza riuso, mantenendo uguali compito e modello. Osserva anche la latenza e l'esito: un miglioramento economico deve essere valutato insieme all'affidabilità del servizio offerto agli utenti.

Che cosa la cache non sostituisce

Il contenuto riutilizzato continua a far parte del contesto del modello. Il caching non è quindi un modo per superare automaticamente la context window. Inoltre, conservare in cache un documento vecchio non lo rende aggiornato: devi gestire versioni e sostituzioni del materiale.

Quando cambia una fonte, identifica quali richieste devono usare la nuova versione e controlla il consumo osservato. Evita di mantenere istruzioni obsolete soltanto per preservare il riuso. Nel tuo monitoraggio distingui quantità di input, quota realmente servita dalla cache e costo totale. Questa separazione rende leggibili i risultati e impedisce di confondere una richiesta più economica con una richiesta più corta o con una risposta già pronta.

Per approfondire

Fonti e aggiornamenti

Questa guida si basa sulle fonti indicate. Consultale per un approfondimento!

Ultima verifica editoriale: .

Dalla teoria al tuo prompt.

Scopri quanto pesano le tue parole e sperimenta nuove idee.

Apri il contatore