Deux cartes géantes dans un petit boîtier : une expérience d'IA locale à mémoire unifiée

La vidéo s'ouvre sur une question : comment passer d'un boîtier de bureau Framework à ce même boîtier accueillant deux cartes graphiques ? La réponse : une plateforme Strix Halo rencontrant deux cartes R9700 dans un même système. La question du nombre de lignes est écartée avec une blague ; les lignes ne viennent pas de la plateforme mais d'un bridge externe.

Les cartes sont présentées : fabriquées par ASUS, avec un refroidisseur de type blower adapté aux charges de travail, un câblage soigné et une équerre de maintien. Le carton contient la carte mais pas d'adaptateur d'alimentation, à acheter séparément. Jusqu'à quatre peuvent tenir dans une machine, une configuration que l'hôte a déjà essayée. En cherchant bien, le prix d'origine peut encore se trouver, note-t-il.

Le secret réside dans une puce bridge Broadcom : le slot Gen 4 à quatre lignes de la carte mère offre 8 Go/s dans chaque sens, et le bridge les répartit sur des slots à huit lignes via des câbles MCIO. L'agencement prévu en 16+16 n'a pas tenu, la puce gère donc quatre slots à huit lignes dont deux vides. Savoir si deux cartes supplémentaires pourraient s'ajouter se heurte aux limites d'espace d'adressage et du BIOS.

Le calcul mémoire est présenté comme une blague : 128 Go de mémoire unifiée plus 32+32 sur les cartes font une chute de 192 Go de mémoire vidéo. La blague est aussitôt corrigée ; la configuration n'est pas homogène mais deux mondes mémoire distincts. La magie, c'est que le trafic carte-à-carte évite le bridge mince de la plateforme et emprunte le bridge externe.

Le volet logiciel est la partie honnête de l'expérience : bugs et aspérités signifient que cette pile n'est pas vraiment recommandée. L'objectif reste clair toutefois : trouver une combinaison à moins de 10 000 dollars capable de faire tourner des modèles de classe frontière en local, notamment la famille Qwen. Le modèle dense 27B est signalé nettement meilleur sur les deux cartes que sur la configuration à mémoire unifiée.

Le modèle en mélange d'experts 35B A3B brille en revanche côté Strix Halo, le tableau changeant dès que le préremplissage et le traitement des prompts rejoignent les cartes. Le choix Vulkan contre ROCm décide du sort sur les cartes, et le tout nouveau ROCm 10 d'AMD entre dans la file des tests. Quelle pile gagne sur quel modèle se découvre par essais et erreurs.

La note surprenante est que la bibliothèque de communication multi-cartes se comporte moins mal derrière le bridge, plus calme là que sur les liens natifs du processeur. L'hôte y voit le reflet de rigs à grande échelle écrits de toute façon pour des topologies pontées. Le petit boîtier modélise architecturalement le grand système, différences RDNA contre cDNA mises à part.

Le matériel futur est aussi évoqué : les nouveaux accélérateurs PCIe à mémoire empilée sont jugés sans intérêt pour ce cas vu leurs prix. L'hôte dit clairement que transporter des accélérateurs follement chers sur cette plateforme n'a aucun sens ; la curiosité porte seulement sur la faisabilité. L'esprit du test, c'est de repousser les limites.

La conclusion est nette : dans cette pile, le GPU intégré n'est pas un accélérateur de performance mais un multiplicateur de capacité. Les pipelines à récupération augmentée qui veulent de la mémoire profonde respirent mieux avec les 64 Go supplémentaires de mémoire vidéo rapide. Les puces bridge seront bien plus présentes dans notre avenir, dit-il, en espérant que les plans des prochaines générations de plateformes couvrent ce scénario.

La fin remercie ASUS d'avoir envoyé la carte, avec une négociation en plaisantant pour obtenir d'autres exemplaires en vue d'un concours communautaire. Une adresse de forum recueille les questions et les demandes de tests supplémentaires. La vidéo se clôt en qualifiant cette folie de tradition Level1.