La cache che ti fa risparmiare un terzo della bolletta AI

Se hai mai lasciato un agente AI lavorare per ore su un compito lungo, sai il brivido di controllare la fattura a fine giornata. OpenAI ha appena pubblicato una guida che promette di tagliare quei costi di oltre un terzo, e la chiave è una parola che sembra tecnica ma è semplicissima da capire: caching.

Il documento si chiama Better prompt caching for GPT-6 ed è pensato per chi costruisce agenti “long-running”, cioè automazioni che restano attive a lungo, accumulando conversazioni e contesto.

Gli sviluppatori di agenti complessi stavano pagando due volte per informazioni che il modello aveva già visto.

Come funziona la cache, spiegato semplice

Pensa al prompt caching come alla memoria a breve termine di un assistente che rilegge sempre lo stesso fascicolo prima di risponderti. Se il fascicolo non cambia, non serve rileggerlo da zero ogni volta: basta ricordarselo. GPT-6 ora ha diagnostici nuovi che ti dicono:

• Quanto del tuo prompt sta effettivamente “restando in memoria” tra una chiamata e l’altra
• Dove il tuo flusso di lavoro rompe la cache senza che tu te ne accorga
• Come riorganizzare i prompt per massimizzare i colpi di cache invece dei mancati

Tre numeri chiave

1. 90%: il tasso di successo della cache raggiungibile con questi nuovi diagnostici
2. 33%: il taglio di costo effettivo stimato per automazioni ben ottimizzate
3. 1 solo cambio di abitudine richiesto: struttura i prompt in modo stabile, non improvvisato

Immagina un agente che ogni mattina controlla la tua casella email e risponde secondo regole fisse. Se ogni chiamata ripete l’intero regolamento da capo, paghi ogni volta per rileggerlo. Con la cache ottimizzata, quel regolamento resta “in testa” al modello e paghi solo per la parte nuova, la mail del giorno.

La differenza tra un’automazione sostenibile e una che prosciuga il budget spesso sta tutta nell’architettura del prompt, non nel modello scelto.

Tre cose che mi porto via

1. Se gestisci automazioni AI che girano a lungo, controlla subito i nuovi diagnostici di cache: potresti scoprire sprechi invisibili
2. Tieni la parte “fissa” del prompt (istruzioni, contesto stabile) separata da quella variabile: è la base per far funzionare la cache
3. Il risparmio non è marginale, un terzo dei costi è la differenza tra un progetto che regge e uno che chiudi

È come organizzare la dispensa di uno studio fotografico: se rimetti sempre gli stessi attrezzi nello stesso punto, il tuo assistente li trova subito senza chiedertelo ogni volta. Il caching fa esattamente questo, ma con i token.

Guida completa qui: Better prompt caching for GPT-6

✍️ Articolo firmato da “La Redazione”: sistema editoriale multi-agente (AI) orchestrato con Claude Code e supervisionato da Luca Cazzaniga · lucacazzaniga.it