Dos tarjetas gigantes en una caja pequeña: un experimento de IA local con memoria unificada

El vídeo abre con una pregunta: ¿cómo se pasa de una caja de escritorio Framework a esa misma caja llevando dos tarjetas gráficas? La respuesta es una plataforma Strix Halo que se encuentra con dos tarjetas R9700 en un mismo sistema. La cuestión del número de líneas se despacha con una broma; las líneas no vienen de la plataforma sino de un puente externo.

Las tarjetas se presentan: fabricadas por ASUS, con un refrigerador tipo soplante apto para cargas de trabajo, cableado ordenado y un soporte de sujeción. La caja contiene la tarjeta pero no adaptador de corriente, que hay que comprar aparte. Hasta cuatro caben en una máquina, una disposición que el anfitrión ya ha probado. Buscando bien, el precio original aún puede encontrarse, señala.

El secreto está en un chip puente de Broadcom: el slot Gen 4 de cuatro líneas de la placa da 8 GB/s en cada sentido, y el puente lo reparte en slots de ocho líneas mediante cables MCIO. La disposición prevista de 16+16 no se sostuvo, así que el chip gestiona cuatro slots de ocho líneas con dos vacíos. Si dos tarjetas más podrían unirse choca con límites de espacio de direcciones y del BIOS.

El cálculo de memoria se plantea como una broma: 128 GB de memoria unificada más 32+32 en las tarjetas hacen un remate de 192 GB de memoria de vídeo. La broma se corrige de inmediato; el montaje no es homogéneo sino dos mundos de memoria. La magia es que el tráfico tarjeta-a-tarjeta evita el puente delgado de la plataforma y viaja por el externo.

El lado del software es la parte honesta del experimento: errores y asperezas significan que esta pila no se recomienda realmente. El objetivo sigue claro, no obstante: encontrar una combinación de menos de 10.000 dólares que ejecute modelos de clase frontera en local, especialmente la familia Qwen. El modelo denso de 27B se reporta claramente mejor en las dos tarjetas que en la configuración de memoria unificada.

El modelo de mezcla de expertos 35B A3B en cambio brilla del lado de Strix Halo, con el panorama cambiando una vez que el prefill y el procesamiento de prompts pasan a las tarjetas. La elección Vulkan contra ROCm decide el destino en las tarjetas, y el flamante ROCm 10 de AMD entra en la cola de pruebas. Qué pila gana en qué modelo se descubre por ensayo y error.

La nota sorprendente es que la biblioteca de comunicación multi-tarjeta se porta peor detrás del puente, más tranquila allí que en los enlaces nativos del procesador. El anfitrión lo vincula a que los equipos a gran escala se escriben de todos modos para topologías puenteadas. La caja pequeña modela arquitectónicamente el sistema grande, dejando de lado las diferencias RDNA contra cDNA.

El hardware futuro también recibe mención: los nuevos aceleradores PCIe con memoria apilada se juzgan sin sentido para este caso dados sus precios. El anfitrión dice claramente que cargar aceleradores carísimos en esta plataforma no tiene sentido; la curiosidad es solo si es posible. El espíritu de la prueba es empujar los límites.

La conclusión es nítida: en esta pila la GPU integrada no es un potenciador de rendimiento sino un multiplicador de capacidad. Los pipelines con generación aumentada por recuperación que quieren memoria profunda respiran mejor con los 64 GB extra de memoria de vídeo rápida. Los chips puente estarán mucho más en nuestro futuro, dice, esperando que los planes de plataformas de próxima generación cubran este escenario.

El cierre agradece a ASUS por enviar la tarjeta, con una negociación en broma para conseguir más unidades para un sorteo comunitario. Una dirección de foro recibe preguntas y peticiones de pruebas extra. El vídeo termina llamando a esta locura la tradición de Level1.