Cache

Come funziona il context caching Gemini

Il context caching di Gemini è pensato per contenuti grandi riutilizzati più volte, come documenti, istruzioni lunghe o dataset interrogati con prompt diversi.

Un progetto di YADA Digital · Metodo e responsabilità editoriale

Due modalità da distinguere

La documentazione Gemini distingue il caching implicito dal caching esplicito disponibile nelle API che lo supportano. Il primo dipende dal riuso riconosciuto dal servizio; il secondo prevede una risorsa di cache da creare e richiamare. Disponibilità e dettagli cambiano con modello ed endpoint, quindi controlla il percorso API della tua integrazione.

Questa distinzione evita un equivoco frequente: non tutte le applicazioni devono creare manualmente una cache, e non tutte le modalità hanno le stesse voci di costo. Prima di scrivere un'integrazione, identifica quale servizio stai usando e quale comportamento documenta. La guida relativa a un endpoint differente può essere utile per orientarti, ma non va trattata come il contratto della tua chiamata.

Quali contenuti conviene riutilizzare

Un candidato naturale è un contenuto grande, stabile e interrogato ripetutamente: un manuale, una raccolta limitata di documenti o materiale di riferimento per più domande. Se devi fare una sola analisi, il vantaggio potrebbe essere diverso. Se il contenuto cambia a ogni richiesta, valuta prima una selezione più precisa del materiale.

Immagina una squadra che consulta un manuale durante una sessione di assistenza. Registra quante domande arrivano sulla stessa versione e in quanto tempo. Questo ti aiuta a scegliere una durata ragionevole per una cache esplicita. Non usare la dimensione del file come unico criterio: un documento enorme quasi mai riutilizzato potrebbe essere un candidato peggiore di uno più piccolo consultato frequentemente.

Considera conservazione e scadenza

Per il caching esplicito documentato da Google, il costo può comprendere anche la conservazione dei token nel tempo. Valuta quindi il ciclo completo: creazione, richieste successive e durata. I token in cache continuano a contare rispetto ai limiti di contesto; non diventano un archivio illimitato accessibile gratuitamente.

Prepara una politica per aggiornare o rimuovere le risorse quando il documento cambia o il lavoro termina. Mantieni un collegamento tra versione della fonte e identificatore della cache. Questo rende più semplice capire quali risposte sono state prodotte con quale materiale. Se un contenuto non deve più essere utilizzato, aggiornare il flusso applicativo è più importante di mantenere il vantaggio economico del riuso.

Verifica con richieste reali

Raccogli i dettagli di uso disponibili nell'API effettiva e confronta richieste rappresentative. Per il caching implicito, verifica il riuso osservato senza presumere che sia garantito. Per quello esplicito, includi nel confronto i costi di conservazione e le richieste che non arrivano prima della scadenza.

Usa un campione con domande diverse sullo stesso documento e uno con aggiornamenti del materiale. Registra costo totale, tempi e correttezza delle risposte. Non attribuire alla cache una riduzione ottenuta cambiando contemporaneamente modello o contenuti. Ripeti la valutazione quando modifichi la frequenza d'uso: un'impostazione conveniente per una sessione intensa potrebbe essere inefficiente per accessi rari distribuiti lungo la giornata.

Per approfondire

Fonti e aggiornamenti

Questa guida si basa sulle fonti indicate. Consultale per un approfondimento!

Ultima verifica editoriale: .

Dalla teoria al tuo prompt.

Scopri quanto pesano le tue parole e sperimenta nuove idee.

Apri il contatore