Qwen 3.8 27B en una sola tarjeta de 8GB: mejor de lo esperado

La afirmación inicial es clara: Qwen 3.8 27B funciona en una sola RTX 4060 con 8GB, y cada pieza mostrada se produjo de un solo intento, sin bucles de agente. El autor admite desde el principio que la configuración fue lenta y delicada al principio, pero aun así le resulta notable que un modelo de esta clase produzca trabajo terminado en una tarjeta tan modesta. El episodio promete la receta completa: la instalación, las elecciones de arnés y parámetros, y luego los resultados finales junto a Claude Opus.

El trasfondo es el momento del modelo: Qwen 3.8 salió unas dos semanas antes y rápidamente se convirtió en el tema favorito de la comunidad. A pesar de su tamaño relativamente pequeño de 27 mil millones de parámetros, se describe como igualando a Opus 4.6 en varios benchmarks de código y agentes, a veces superándolo. La mayoría de las guías recomiendan tarjetas de 24GB para él; este video explora el extremo inferior.

La idea clave viene del gráfico de cuantización: la versión IQ4XS se mantiene a unos seis por ciento del modelo base mientras lo reduce a unos 14GB. Eso pone en juego a las tarjetas de gama media de 16GB. El video va un paso más allá: ¿y 8GB — demasiado lento para molestarse? Hora de probar.

La configuración es frugal de principio a fin: el archivo IQ4XS de Unsloth, una ventana de 70K tokens considerada de sobra para un proyecto pequeño, y una caché KV cuantizada a 4 bits para ahorrar memoria de contexto. Unas 26 capas van a la GPU, manteniendo el uso total cerca de 7GB con margen para el sistema operativo.

El ajuste fino continúa: el grupo de hilos de la CPU se ajusta al número de núcleos físicos (seis en la máquina del autor), y la decodificación especulativa funciona en modo MTP con un máximo de dos tokens de borrador. El modo de pensamiento se activa sin el presupuesto de razonamiento, por una razón concreta — el modelo puede gastar unos 20K tokens solo pensando en un prompt de sitio web mediano, así que un límite lo abortaría a mitad de pensamiento. El muestreo sigue los valores compartidos por la comunidad: temperatura 1, top K 20, penalización de repetición 1, min P cero.

La elección del arnés se trata como algo de primer orden en 8GB: gana la herramienta con el prompt de sistema integrado más ligero, que es Pi. La lógica es directa — con la tarjeta ya en su límite de memoria, la inflación del arnés grava directamente el contexto y la velocidad, así que el runner más ligero evita que la carga de la tarjeta pequeña crezca.

El primer trabajo es una landing page 3D con temática de Minecraft. Al cabo de una hora, la generación se atasca en un bucle mientras escribe, y Pi corta la llamada de escritura. Al indagar aparecen dos correcciones: se desactiva el timeout HTTP porque la generación es tan lenta que los límites normales matan el trabajo, y se eleva el número máximo de tokens de salida para que sobrevivan los archivos grandes. El prompt se ejecuta de nuevo y termina tras dos horas y media a unos 4,2 tokens por segundo, empezando cerca de seis y decayendo a medida que crece el contexto.

Los otros tres trabajos terminan más rápido: una escena de ciudad neón cyberpunk en Three.js en aproximadamente hora y media a cinco tokens por segundo, un prompt detallado de sitio personal en unas dos horas a 4,6, y una landing page de diseño de interiores en hora y media a cinco. El mismo prompt se envía también a Opus 4.6, y el video alinea las dos salidas lado a lado cada vez.

El veredicto es audaz: Qwen 3.8 cambia las reglas del juego para los modelos locales. En 8GB el ritmo aún se considera demasiado lento para el uso diario, pero la calidad de salida de un modelo de este tamaño se califica de sólida — en algunas pruebas mejor que el lado de Opus 4.6. La proyección ofrecida es que una tarjeta de 16GB alcanza unos 12 a 14 tokens por segundo con 70K de contexto, lo cual cuenta como práctico.

Una pregunta de cierre recibe una respuesta directa: ¿por qué no la versión de 3 bits en el equipo de 8GB? Con una descarga pesada de CPU corría más lento que la versión de 4 bits, y las cuantizaciones no divisibles entre dos pagan una penalización de velocidad. La conclusión: quedarse en la banda de 4 bits para este tipo de configuración híbrida.