EAGLE-4 rend Qwen 27B 3,6 fois plus véloce

Votre Qwen 3.8 27B ronronne à la maison, mais chaque phrase semble pesée mot après mot. Le 20 octobre, une publication sur Local Llama annonce EAGLE-4 devant DFlash 2 et DSpark, tableau à l'appui : 3,59 fois plus vite que le décodage classique. Le chiffre sort bien de l'étude de douze pages. Pourtant le décor compte : quatre B300 de centre de données, un seul utilisateur, hasard coupé à zéro. Changez un seul réglage et le tableau bouge déjà.

Qui l'a conçu et pourquoi cela compte

Derrière cette sortie, on trouve Eagle AI, portée par Hongyang Zhang, professeur à Waterloo, coauteur des versions EAGLE 1, 2 et 3. Cet historique pèse : la prédiction multi-jetons intégrée à DeepSeek V4, Qwen 3 ou Gemma 4 reprend la même filiation, si bien qu'activer MTP revient déjà à toucher un cousin du procédé. Le dossier comprend une étude de douze pages, un dépôt GitHub avec un brouillon fonctionnel pour Qwen 27B, et des gabarits sur Hugging Face. Nvidia, AMD, vLLM et SGLang figurent parmi les partenaires de lancement cités par le blog eagle.

Pour saisir la différence, il faut visualiser le décodage spéculatif. Un grand système reste lent car chaque jeton oblige à relire des milliards de paramètres en mémoire ; le calcul va vite, l'attente mémoire domine. Imaginez une cheffe débordée et un commis véloce : il prépare plusieurs assiettes d'avance selon son intuition, elle contrôle tout le plateau d'un seul regard, garde ce qui convient et reprend dès la première erreur. Un seul contrôle, plusieurs plats servis, sans rien perdre de la qualité promise par la cheffe seule. MTP, DFlash 2, DSpark et EAGLE-4 partagent ce principe, seule la façon de préparer change.

EAGLE-4 devine moins, mais devine à propos. Son harnais EAGLE-Harness ajuste la profondeur selon la charge, le matériel et la confiance du moment : quand la salle se vide, il explore plusieurs pistes ; quand elle sature, il s'arrête après une ou deux propositions. La devinette la plus véloce reste celle qu'on évite. Le brouillon ne compte qu'une seule couche, soit environ 3,8 fois moins de calcul par essai que les cinq couches des brouillons concurrents. Autre astuce : face à 248 000 jetons possibles, dont le tri absorbait 65 % du temps, le système présélectionne 128 candidats puis ne note que ceux-là, ce qui réduit chaque étape de plus de moitié tout en gardant la bonne réponse dans 98 % des cas.

Ce que disent les mesures selon les réglages

Le fameux 3,59 ne vaut qu'à hasard nul, quand le système choisit toujours le jeton le plus probable. Pour un seul utilisateur, l'étude aligne 3,59 pour EAGLE-4 contre 2,80, 2,57 et 2,22 pour les autres approches. À hasard réglé sur un, EAGLE-4 retombe à 2,59 et DFlash 2 à 2,39, si bien que l'écart fond de 28 % à 8 %. À 512 utilisateurs, EAGLE-4 garde 1,34 fois le débit du décodage classique, autour de 28 000 jetons par seconde contre 21 000, tandis que DFlash 2 chute à 0,78 et DSpark à 0,67, donc sous le niveau sans accélération, MTP frôlant l'équilibre. Retenez l'astuce gratuite : pour du code ou des maths, où l'on veut des réponses stables, laissez le hasard à zéro.

Le duel oppose quatre prétendants. MTP, déjà inclus dans Qwen 27B, tourne dans llama.cpp et LM Studio sans rien télécharger : 2,2 fois plus vite pour un seul utilisateur, environ 1,6 à hasard plein. DSpark, décrit dans un rapport arXiv, combine un bloc parallèle puis une petite tête séquentielle ; faute de brouillon officiel pour Qwen, la mesure utilise un portage communautaire RedHat, à 2,57. DFlash 2, signé Inco et sorti en août, devine tout un bloc en un seul passage de type diffusion : 2,8 dans l'étude, tandis que le blog Inco revendique 2,7 à 3,4 sur Qwen 27B, dont le haut touche EAGLE-4. EAGLE-4 affiche 3,59, soit environ 864 jetons par seconde contre 240 sans anticipation. L'écart persiste sur MI355X avec 3,49, et se resserre sur Nemotron avec 2,74 contre 2,41 pour MTP maison.

Restons lucides : tous ces chiffres viennent d'Eagle ou de ses partenaires, sans reproduction indépendante du 3,59 à ce jour. Les rivaux ont été rejoués par Eagle sur un moteur dont l'étude tait le nom. La page publique d'accompagnement annonce plutôt 3,3 à 3,4 pour un utilisateur sous SGLang et environ 3 sous vLLM, d'après la documentation vLLM sur le décodage spéculatif. Cela n'invalide rien, et la franchise sur les limites inspire confiance, mais une question demeure : que donnerait DFlash 2 réglé par Inco sur la même installation ? Tant que ce duel n'a pas lieu, considérez la victoire comme solide mais assortie d'un point d'interrogation.

Pour ce soir, la réponse reste non. La livraison se limite à des variantes retouchées de SGLang, vLLM et TokenSpeed, validées seulement sur B300 et MI355X de centre de données. Aucune prise en charge dans llama.cpp, LM Studio, MLX ou Ollama, ni même une demande d'ajout ouverte au moment de l'enregistrement. Le montage pèse lourd : Qwen 27B en précision complète occupe environ 55 Go sur quatre cartes, plus 6,2 Go pour le seul brouillon, qui embarque sa copie de l'immense vocabulaire. Sur un Mac mini de 16 Go, le brouillon avalerait plus d'un tiers de la mémoire avant même le chargement. La licence, dite à source disponible, reste gratuite pour un usage personnel, la recherche et les structures sous 20 millions de revenus annuels, mais une clause vise les infrastructures concurrentes, ce qui peut freiner un portage vers llama.cpp. Contraste net avec l'historique retracé sur GitHub, où EAGLE 1 à 3 relevaient d'Apache et où EAGLE-3 a rejoint llama.cpp en juin.

Le passage le plus réjouissant concerne un téléphone. Un petit Gemma 4 en 4 bits, sur Motorola Razr 70 Ultra, n'utilisant que le processeur sous llama.cpp, sans accès privilégié, passe de 23 à 83 jetons par seconde sur une épreuve de code, soit 3,6 fois plus vite. Chaque jeton demande moins de la moitié de l'énergie, 166 millijoules contre 356, et la même réponse sort en 14 secondes au lieu de 43. Le brouillon dédié ne pèse que 134 Mo. Sur un petit serveur à quatre cœurs et 8 Go, le gain moyen atteint 2,7, là où EAGLE-3 plafonnait entre 1,25 et 1,65. Deux réserves : l'appareil, mesuré à froid, ralentit après 30 à 45 secondes d'effort continu, et ni la variante retouchée de llama.cpp ni le petit brouillon Gemma n'ont encore été publiés.

En attendant, restez pragmatique. Sous llama.cpp ou LM Studio, activez d'abord MTP, déjà inclus et sans coût, en suivant par exemple le guide Unsloth pour régler Qwen en local. Puis essayez DFlash 2 ou DSpark, intégrés à LM Studio dès la version 0.4.22. Sur Mac, un portage communautaire MLX a sorti environ 40 jetons par seconde sur M4 Pro avec 48 Go, soit 2,7 fois le débit de départ. Si vous servez beaucoup d'utilisateurs depuis des cartes de centre de données et que la licence convient à vos fonds, EAGLE-4 mérite un essai en charge lourde, là où son avance grandit. Devant tout chiffre, posez deux questions : quel réglage de hasard, et combien d'utilisateurs se partageaient l'équipement ? La devinette la plus véloce reste celle qu'on évite, au creux de la main comme en salle serveurs.