¿Es Bonsai 27B realmente el 98 % de Qwen3 27B? Una prueba ternaria práctica en una sola RTX 3090

¿Puede una sola RTX 3090 ejecutar un modelo de 27 mil millones de parámetros lo bastante bien como para reemplazar a su gemelo de precisión completa? Esa es la pregunta que Digital Spaceport pone en el banco de pruebas, usando el Bonsai 27B ternario de PrismML. Los espectadores siguen preguntando cuál es el mejor modelo para una tarjeta o dos tarjetas pequeñas, y el episodio lo pone a prueba directamente. La afirmación principal enmarca la prueba: ¿una versión nueve veces más pequeña conserva casi toda la capacidad de Qwen3 27B?

Qué significa ternario — tres valores, nueve veces más pequeño

Ternario suena simple: cada peso vive en uno de tres estados, menos uno, cero, más uno, en lugar de dos. Ese tercer estado recorta el error de cuantización por grupo de escala. En las cifras que publica PrismML, un modelo 27B que ocupa unos 54 GB en 16 bits baja a unos 5,9 GB en ternario y 3,9 GB en binario. Una reducción de unas nueve veces, lo que coloca el modelo completo cómodamente dentro del presupuesto de una tarjeta de 24 GB.

La reducción no es un simple envoltorio. Bonsai se construye sobre Qwen3 27B, mueve alrededor de tres cuartas partes de sus capas de atención a forma lineal y mantiene una ventana de 262K tokens manejable en el dispositivo. La pila de lenguaje está comprimida de extremo a extremo — embeddings, proyecciones de atención, MLP y la cabeza LM comparten la misma representación de bajo bit sin bypass de alta precisión. La torre de visión se envía por separado en HQQ de 4 bits para que capturas de pantalla y documentos viajen con el texto. Un decodificador especulativo DSpark se añade encima como un impulso sin pérdida de tipo draft-and-verify.

El equipo — Proxmox LXC y una sola 3090

La configuración es un rig de autoalojamiento familiar: un contenedor LXC de Proxmox 9 numerado 118 en el host Prox 2. La descarga de Hugging Face es rápida porque el artefacto es lo bastante pequeño para saltarse la clave. El arranque pasa por el llama server starter de PrismML desde el repositorio de demostración. Un detalle clave es que el llama.cpp principal aún no lleva estos kernels de bajo bit aguas arriba, así que hay que usar el fork de PrismML para salidas correctas. La configuración del entorno enlaza BONSAI_HOST a 0.0.0.0, deja el tamaño de contacto en auto y mantiene el especulativo y la compresión del KV-cache desactivados para esta ejecución.

Una vez cargado, la tarjeta muestra unos 16,772 GB ocupados, dejando margen dentro de los 24 GB. El servidor queda accesible en 192.168.1.61:8080. El rendimiento inicial de chat ronda los 68 a 69 tokens por segundo y se mantiene ahí un rato. Como referencia, la anterior ejecución de Qwen3 27B de precisión completa en cuatro RTX 3090 con vLLM se quedó cerca de 40 tokens por segundo. El contexto se fija en 131K; subirlo tiene sentido para bucles de varios pasos al estilo Hermes Agent. La ruta de visión permanece activada.

Prueba arcade — mismas entradas, salidas diferentes

La prueba central es un enfrentamiento justo: el mismo paquete arcade generado previamente con Qwen3 27B de precisión completa se genera de nuevo con Bonsai. El agente estilo Hermes se activa, aparecen trazas de razonamiento, el procesamiento del prompt ronda los 1.250 tokens por segundo. Una generación ronda los 25.000 tokens, el trabajo del prompt es insignificante y el decodificado se estabiliza cerca de 64,4 tokens por segundo. Los resultados están previstos para juego lado a lado en arcade.digitalspaceport.com.

Cada uno de los tres minijuegos cuenta una faceta distinta. El shooter solo se mueve lateralmente, el flujo de enemigos se siente excesivo, la puntuación queda diminuta, unos 16.000 en la esquina superior izquierda, y el jefe dispara en la dirección equivocada. Las notas ahí caen entre C menos y D más. Space Racer se siente rígido, los cambios de carril son bruscos, la fuente diminuta no ayuda y los controles rozan lo injugable. Pixel Breaker sale mejor parado: la viñeta de la valla y el gato es decente, la música suena cursi pero el juego es más fluido, no a pantalla completa pero las estrellas rompibles reaccionan como se espera.

¿Es el 98 por ciento — la nota de campo

La calificación final en el vídeo es contundente: dos suspensos y un D más, con una calidad claramente por detrás de la ejecución de precisión completa. El presentador dice que no se siente como el 98 por ciento, y las rarezas en las capas creativas — lógica de niveles, música, pequeñas diferencias de puntuación — lo respaldan. La historia también encaja con las cifras de laboratorio: unos 80,49 frente a 85,0 en un promedio de 15 benchmarks, aproximadamente un 94,6 por ciento retenido. El promedio de laboratorio y una única generación creativa no son lo mismo; la segunda es más severa.

Donde brillan la velocidad y el uso de herramientas

El punto fuerte es la velocidad y el uso de herramientas. El chat se siente fluido, las llamadas a herramientas sin código funcionan bien y no se vieron llamadas fallidas en esta ejecución. Un decodificado de flujo único cerca de 68 tokens por segundo en una 3090 se traduce en hasta 134 tokens por segundo en ternario y 163 en 1 bit en una 5090, y alrededor de 58 y 87 en un M5 Max según las cifras publicadas. El impulso sin pérdida de 1,34x de DSpark forma parte de ese panorama. Es suficiente para que una sola tarjeta se sienta viable para un asistente persistente de un solo hilo.

El límite se traza en los agentes de código sostenidos. El episodio indica que está bien para chat y flujos de agente de un solo hilo, pero aún no es buen momento para el desarrollo de código agéntico. La razón es la caída de calidad vista en la generación de código creativa y estructural; incluso con contexto largo y atención lineal, la coherencia entre niveles se resiente. Hay margen de mejora a medida que los kernels del fork lleguen aguas arriba y crezca el presupuesto de contexto, y la configuración de dos 3060 de 12 GB tendrá su propia prueba de velocidad.

La conclusión práctica se liga a los precios del hardware. El tablero en vivo del canal muestra RTX 3090 de segunda mano cerca de 1.400 dólares y subiendo, mientras que una 3060 de 12 GB ronda los 300 dólares. La configuración doble de 3060 se prueba por separado en cuanto a velocidad. Una sola 3090 ya está en el umbral práctico de memoria y rendimiento. Elegir esta configuración tiene sentido si tu plan es un asistente, lectura de documentos y automatización ligera en una tarjeta; hacer de los agentes de código totalmente autónomos o la generación de juegos intensiva en visión la carga principal es prematuro.