Bonsai 27B vaut-il vraiment 98 % de Qwen3 27B ? Un test ternaire en conditions réelles sur une seule RTX 3090

Une seule RTX 3090 peut-elle faire tourner un modèle de 27 milliards de paramètres suffisamment bien pour remplacer son jumeau pleine précision ? C'est la question que Digital Spaceport passe sur le banc d'essai, en utilisant le Bonsai 27B ternaire de PrismML. Les spectateurs demandent sans cesse quel est le meilleur modèle pour une carte ou deux petites cartes, et l'épisode le teste directement. La revendication phare encadre le test : une version neuf fois plus petite préserve-t-elle presque toute la capacité de Qwen3 27B ?

Ce que signifie ternaire — trois valeurs, neuf fois plus petit

Ternaire paraît simple : chaque poids vit dans l'un des trois états, moins un, zéro, plus un, au lieu de deux. Ce troisième état réduit l'erreur de quantification par groupe d'échelle. Dans les chiffres que publie PrismML, un modèle 27B qui occupe environ 54 Go en 16 bits tombe à environ 5,9 Go en ternaire et 3,9 Go en binaire. Soit une réduction d'environ neuf fois, ce qui place le modèle complet confortablement dans le budget d'une carte de 24 Go.

Cette réduction n'est pas un simple habillage. Bonsai s'appuie sur Qwen3 27B, déplace environ les trois quarts de ses couches d'attention vers une forme linéaire et garde une fenêtre de 262K tokens exploitable sur l'appareil. La pile de langage est compressée de bout en bout — embeddings, projections d'attention, MLP et tête LM partagent la même représentation basse précision sans contournement haute précision. La tour de vision est livrée séparément en HQQ 4 bits afin que captures d'écran et documents voyagent avec le texte. Un décodeur spéculatif DSpark s'ajoute par-dessus comme un gain sans perte de type draft-and-verify.

La configuration — Proxmox LXC et une seule 3090

L'installation est un rig d'auto-hébergement familier : un conteneur LXC Proxmox 9 numéroté 118 sur l'hôte Prox 2. Le téléchargement depuis Hugging Face est rapide car l'artefact est assez petit pour sauter la clé. Le lancement passe par le llama server starter de PrismML depuis le dépôt de démo. Un détail important : le llama.cpp principal ne transporte pas encore ces noyaux basse précision en amont, il faut donc tirer le fork de PrismML pour des sorties correctes. Le câblage de l'environnement lie BONSAI_HOST à 0.0.0.0, laisse la taille de contact sur auto et garde le spéculatif et la compression du KV-cache désactivés pour cette exécution.

Une fois chargée, la carte affiche environ 16,772 Go occupés, laissant de la marge dans les 24 Go. Le serveur devient joignable sur 192.168.1.61:8080. Le débit de chat initial se situe autour de 68 à 69 tokens par seconde et s'y maintient un moment. Pour référence, la précédente exécution de Qwen3 27B pleine précision sur quatre RTX 3090 avec vLLM tournait autour de 40 tokens par seconde. Le contexte est réglé à 131K ; l'augmenter a du sens pour des boucles multi-étapes façon Hermes Agent. Le chemin de vision reste activé.

Test arcade — mêmes entrées, sorties différentes

Le test central est un face-à-face équitable : le même paquet arcade précédemment généré avec le Qwen3 27B pleine précision est régénéré avec Bonsai. L'agent façon Hermes s'engage, des traces de réflexion apparaissent, le traitement de prompt tourne autour de 1 250 tokens par seconde. Une génération compte environ 25 000 tokens, le travail de prompt est négligeable et le décodage se stabilise près de 64,4 tokens par seconde. Les résultats sont prévus pour un jeu côte à côte sur arcade.digitalspaceport.com.

Chacun des trois mini-jeux raconte une facette différente. Le shooter ne se déplace que latéralement, le flux d'ennemis paraît excessif, le score reste minuscule à environ 16 000 en haut à gauche, et le boss tire dans le mauvais sens. Les notes se situent entre C moins et D plus. Space Racer paraît raide, les changements de voie sont brutaux, la minuscule police n'aide pas, et les contrôles frôlent l'injouable. Pixel Breaker s'en sort mieux : la vignette clôture et chat est correcte, la musique paraît ringarde mais le gameplay est plus fluide, pas plein écran mais les étoiles destructibles réagissent comme prévu.

Est-ce 98 % — la note de terrain

La note finale dans la vidéo est sans détour : deux échecs et un D plus, avec une qualité nettement en retrait par rapport à l'exécution pleine précision. L'hôte dit que cela ne fait pas sensation de 98 %, et les bizarreries dans les couches créatives — logique de niveaux, musique, petits écarts de score — le confirment. L'histoire colle aussi aux chiffres de labo : environ 80,49 contre 85,0 sur une moyenne de 15 benchmarks, soit environ 94,6 % conservés. La moyenne de labo et une génération créative unique ne sont pas la même chose ; la seconde est plus sévère.

Là où vitesse et usage d'outils brillent

Le point fort, c'est la vitesse et l'usage d'outils. Le chat paraît fluide, les appels d'outils hors code aboutissent bien, et aucun appel manqué n'a été observé dans cette exécution. Un décodage mono-flux près de 68 tokens par seconde sur une 3090 se traduit par jusqu'à 134 tokens par seconde en ternaire et 163 en 1 bit sur une 5090, et environ 58 et 87 sur un M5 Max selon les chiffres publiés. Le gain sans perte de 1,34x de DSpark fait partie du tableau. C'est assez pour qu'une seule carte paraisse viable pour un assistant mono-thread persistant.

La limite est tracée aux agents de code en continu. L'épisode précise que c'est bien pour le chat et les flux d'agents mono-thread, mais pas encore un bon moment pour le développement de code agentique. La raison est la baisse de qualité constatée dans la génération de code créative et structurelle ; même avec un long contexte et une attention linéaire, la cohérence entre niveaux glisse. Il y a de la marge d'amélioration quand les noyaux forkés arriveront en amont et que le budget de contexte grandira, et la configuration à deux 3060 12 Go aura son propre test de vitesse.

Le constat pratique se lie aux prix du matériel. Le tableau en direct de la chaîne montre des RTX 3090 d'occasion autour de 1 400 dollars et en hausse, tandis qu'une 3060 12 Go se situe autour de 300 dollars. La configuration double 3060 est testée séparément pour la vitesse. Une seule 3090 se trouve déjà au seuil pratique en mémoire et débit. Choisir cette configuration a du sens si votre projet est un assistant, de la lecture de documents et une automatisation légère sur une carte ; faire d'agents de code totalement autonomes ou de la génération de jeux gourmande en vision la charge principale, c'est prématuré.