L'architecture folle de DeepSeek V4.1 Flash : une mémoire partagée qui réduit le cache KV de 437x

DeepSeek V4.1 Flash est au cœur de l'épisode « Insane New Architecture » de Two Minute Papers, qui s'ouvre sur une vitesse fulgurante et deux affirmations audacieuses : sur certains benchmarks, Flash peut dépasser les modèles de classe Claude Opus et Kimi K3, et il bat de manière fiable DeepSeek V4 lui-même. L'hôte chiffre le coût pour rendre le propos tangible — faire tourner V4 Pro en local demande environ 300 000 $ de matériel, tandis que Flash fait le même travail pour environ un quart de ce prix. La courbe pointe vers un agent de poche d'ici un an, présenté comme un optimisme prudent plutôt que du hype.

Ce qui est devenu plus rapide, ce qui est devenu plus petit : l'anatomie du 437x

L'idée la plus frappante est que le modèle est à la fois énorme et minuscule. Énorme parce que l'ossature compte 552 milliards de paramètres avec jusqu'à un million de tokens de contexte — la vidéo mentionne « plus de 500 milliards ». Minuscule parce que le cache KV qui stocke le contexte s'effondre : 437x plus petit que V1 d'il y a trois ans et 4x plus petit que V4 Flash d'il y a quelques mois à peine. L'abstract de l'article arXiv 2609.19969 fixe le chiffre : empreinte globale ramenée à 890 octets par token, soit environ un quart de DeepSeek-V4-Flash en HBM. Avec SWA Bounded Replay, l'empreinte persistante sur SSD ou mémoire hôte tombe à environ un huitième de V4-Flash. Pour les charges de travail d'agents à long horizon et gourmandes en entrées, cela attaque directement le goulot d'étranglement du calcul, du stockage et de la bande passante.

Comment cette réduction est-elle obtenue ? La vidéo le nomme : Compressed Sparse Attention 2, CSA2. Dans un Transformer classique, chaque couche conserve sa propre mémoire KV ; DeepSeek V4.1 Flash la partage entre les couches. Tout le monde n'a pas besoin de tout retenir — il existe une mémoire partagée. La difficulté, c'est que différentes couches ont besoin de vues différentes d'une même histoire. La solution est un Causal Encoder-Decoder à 40 couches, CED : un encodeur causal de 20 couches projette une mémoire globale à partir de ses derniers états cachés, et un décodeur de 20 couches lit cette mémoire globale au lieu de dériver le KV de ses propres états. Ajoutez le cache KV en FP4, et le cache global résident en HBM comme le cache persistant résident sur SSD chutent fortement.

Les chiffres de l'architecture : 8B en préfill, 16B en décode, 45T de tokens

L'asymétrie compte pour l'économie des agents. Le modèle active 16B de paramètres par token pendant le décode mais seulement 8B pendant le préfill, ce qui divise par deux le coût du préfill pour les tâches gourmandes en entrées. DeepSeek rapporte avoir rationalisé l'architecture V4, ajouté des extensions efficaces, et pré-entraîné sur un corpus multimodal de 45T de tokens suivi d'un post-entraînement étendu pour les scénarios d'agents textuels et multimodaux. L'annonce du 10 septembre 2026 sur deepseek.com le positionne comme le plus petit membre de la nouvelle famille avec une compréhension visuelle native, promettant une inférence plus rapide et un débit supérieur. Les checkpoints sont ouverts sur Hugging Face.

La vidéo ne s'arrête pas à l'architecture ; elle montre deux sondes de capacités concrètes. D'abord, la compréhension visuelle native — on fournit au modèle l'image d'un menu de jeu emblématique et on lui fait écrire un jeu qui la reproduit. Ensuite, la reproduction physique — sur l'article du honey-coiling, GPT-6 Astra réussit le résultat de façon « absolument stupéfiante », Opus 5.1 obtient la bonne physique avec un rendu légèrement plus faible, et Flash est présenté à quelques articles de ce niveau. L'hôte insiste sur la nécessité de montrer la vérité au-delà des titres et note, avec une pique ironique, que YouTube a cessé de recommander ses articles sur les simulations physiques.

Le hic et la facture : un modèle qui réfléchit beaucoup et brûle des tokens

Le hic à la fin rééquilibre le récit. V4.1 Flash aime réfléchir et brûle beaucoup de tokens. Il n'est pas cher par token, mais le volume total est élevé. Avec du matériel, vous pouvez le faire tourner gratuitement ; sans, le cloud GPU de Lambda est présenté comme le pont pratique — l'hôte précise qu'il utilise Lambda pour reproduire des articles en quelques minutes et tester des idées rapidement. Chaque nouvel article de DeepSeek, dit l'argument, abaisse le coût d'inférence pour tous, ce qui aide directement les médecins et les scientifiques. Des poids ouverts plus un article ouvert maintiennent intact le fil conducteur « la science ouverte gagne ».

En prenant du recul, la folie de V4.1 Flash n'est pas la force brute mais l'économie de la mémoire. Le partage inter-couches, la projection encodeur-vers-décodeur et la compression FP4 réduisent ensemble un contexte d'un million de tokens à une trace de 890 octets par token tout en poussant les performances au-dessus de la référence. Réduire une barrière locale de 300 000 $ à un quart et diviser par deux l'activation du préfill transforme la phrase « dans votre poche d'ici un an » de spéculation en feuille de route d'ingénierie. En racontant la réduction à deux échelles à la fois — 437x vs V1 et 4x vs V4 Flash — la vidéo offre un cadre compact pour quiconque suit les architectures.