Ocho B300 se enfrentan a Kimi K3: cifras reales de una prueba de servidor con 128 usuarios

El equipo de BIZON puso en el banco de pruebas uno de los seis servidores destinados a clientes antes de enviarlo. La máquina es el X9000: una caja 5U de clase DGX que lleva ocho B300. Los sistemas así son a la vez extremadamente caros y poco cubiertos, así que el vídeo llena un vacío real. Su valor no está en los comentarios sino en los medidores en pantalla: potencia, temperatura y velocidad por usuario fluyen lado a lado.

La configuración probada empareja dos Intel Xeon de 128 núcleos con 2 TB de memoria, y el presentador bromea con que los precios de la RAM duelen estos días. Ocho B300 se encargan del cómputo. La página del vendedor lista esta máquina desde 472.233 dólares con 12 unidades en stock, así que una sola caja cuesta aproximadamente el presupuesto tecnológico anual de una empresa mediana.

El chasis 5U se divide en dos niveles. Arriba están el muro de ventiladores y las GPU sobre rieles; deslizas la tapa y aparece el enorme bloque disipador de cada tarjeta. Los CPU y la memoria viven abajo, las bahías NVMe recorren los laterales. La parte trasera lleva los puertos InfiniBand para enlazar servidores, con 800 Gb/s XDR por tarjeta y 1,8 TB/s de ancho de banda NVLink de GPU a GPU según la ficha del vendedor.

Algo de contexto sobre el B300: silicio Blackwell Ultra, 288 GB de HBM3e por tarjeta y un sobre de 1.100 W en esta forma HGX. El vídeo cita unos 280 GB utilizables por tarjeta, lo que cuadra con la cifra oficial. Una distinción importa: el número de 1.400 W pertenece al rack GB300 de refrigeración líquida, no a una caja HGX refrigerada por aire como esta. Mezclar ambos arruina de entrada cualquier cálculo de potencia y refrigeración.

La carga de trabajo es Kimi K3, el modelo insignia de pesos abiertos de Moonshot: un diseño mixture-of-experts de 2,8 billones de parámetros con una ventana de contexto de un millón de tokens. Se carga repartido entre las ocho GPU a unos 266 GB por tarjeta. Así, un archivo de modelo de unos 1,6 TB cabe en la VRAM junto con la ventana completa de un millón de tokens. Esa es la afirmación central del vídeo: ejecutar un modelo de esta clase a tamaño completo exige una caja de esta liga.

Bajo el capó corre vLLM, el motor de servicio de código abierto que el propio Nvidia recomienda para inferencia multiusuario. El equipo le acopló una interfaz de prueba sencilla: lanzas un prompt y observas velocidad de generación, utilización, potencia y temperatura en una sola pantalla. La simplicidad importa, porque cada afirmación aquí se apoya en la observación, no en un marcador sintético.

Un usuario solitario obtiene 100 tokens por segundo. El equipo menciona haber rozado 280 brevemente con ajustes extra, pero califica esa configuración de inestable, así que reportan la referencia bruta de 100, lo que me parece la llamada honesta. En esa prueba las GPU están a plena utilización consumiendo 596 W, rondando los 52 grados. Las sesiones largas empujan algunas tarjetas hacia 75-76 grados, una curva sensata para refrigeración por aire desde un reposo de 44 grados.

Luego se pone serio: 32 usuarios simultáneos, como si decenas de personas martillearan el mismo chatbot a la vez. La velocidad por usuario baja a 64 tokens por segundo sin que nadie se atasque; incluso el usuario 32 sigue recibiendo texto. La salida agregada sube a 2.058 tokens por segundo a 614 W. Decir que sigue siendo bueno no es exagerar: servir 32 veces más usuarios manteniendo dos tercios de la velocidad es un resultado sólido.

Con 64 usuarios, la máquina entrega 48 tokens por segundo a cada uno y 3.000 por segundo en total, con la potencia acercándose a 700 W. El ingeniero llama a esto el punto óptimo, y estoy de acuerdo: 48 tokens por segundo se sienten perfectamente fluidos en un chat. Fíjate en la curva de potencia subiendo escalón a escalón con el número de personas, de 596 W a 700 W en estas pruebas.

Con 128 usuarios cada uno aún recibe 38 tokens por segundo, dentro de la banda utilizable. El intento de 256 usuarios satura las tarjetas, y la métrica clave del vídeo entra en escena: la latencia P95, el verdadero umbral de cuántas personas puede cargar una caja a la vez. La conclusión es clara: una caja de ocho B300 como esta no es una máquina de un solo usuario, sino una caja para decenas de personas apoyadas en el mismo modelo. Las opciones configurables de CPU y memoria están en la página del vendedor.