Cuisine Des Agents: Quand Les Vieux Étalons Décrochent

Je vois la rupture dès les premières minutes: le dialogue ordinaire bat comme un métronome, tandis que le travail d'agent ressemble à une cuisine animée. Le modèle esquisse un plan, appelle des outils, lit les résultats, puis recommence avec un contexte élargi. La réponse unique appartient à une époque antérieure; les systèmes actuels portent une mémoire qui gonfle, et le flux de jetons grimpe vite.

Le chiffre qui me frappe avoisine quinze fois la consommation. OpenRouter a observé 100T jetons réels: une demande d'agent isolée brûle environ 15x plus de jetons qu'un échange banal. J'imagine une surface plane devenue volume . Un coordinateur principal délègue en outre des morceaux à des auxiliaires. Lors d'une vraie session logicielle, le contexte retenu est passé de 60 000 vers 400 000, car chaque tour emporte l'historique.

Pourquoi les vieux étalons manquent la cible

Les vieux étalons me semblent étroits. Envoyer 8 000 jetons d'entrée plus 1 000 de sortie puis citer une vitesse décrit un tour isolé, pas une mission vivante. La mesure neuve rejoue des sessions logicielles authentiques, avec près de 99 000 appels de modèles . Les tailles varient, les pauses autour des outils restent intactes. Les contextes en attente demeurent résidents, donc la mémoire gardée reste chaude. Chaque plateforme reçoit les mêmes enregistrements, ce qui isole le matériel et la couche de service.

Je raisonne en usine: quel travail d'agent utile sort d'un budget d'énergie fixe. Le rendement brut peut masquer une interaction molle, alors je le marie avec la vitesse visible, le délai total et la première réponse. Quand la charge simultanée monte, chaque participant ralentit; trop peu de charge laisse les ressources inoccupées. Les meilleures configurations maximisent le débit utile par mégawatt sans perdre la vivacité. Le rythme des agents, la conduite des modèles et le flux de jetons se lisent ensemble.

La coordination intégrale crée l'avance

Les gains naissent d'une orchestration plutôt que d'un réglage isolé; j'entends un orchestre , pas un soliste. NVLink relie 72 accélérateurs en un domaine rapide unique, et les grands modèles d'experts agissent comme un système uni. Dynamo sépare le calcul initial de la génération, dimensionne chaque bassin séparément, puis dirige les nouveaux tours vers les travailleurs qui détiennent déjà le contexte. TensorRT-LLM ajoute la précision NVFP4 et un large parallélisme d'experts, ce qui occupe les unités pendant que des milliers d'agents avancent ensemble. Les notes d'ingénierie Nvidia décrivent ce plan, et les chiffres rejoués de SemiAnalysis le confirment.

Côte à côte, les chiffres publiés racontent une histoire nette. GB300 NVL72 livre jusqu'à 15x le débit d'usine par mégawatt face à H200 NVL8 sur DeepSeek V4 Pro, avec un coût par million de jetons réduit jusqu'à 10x. Vera Rubin NVL72 atteint jusqu'à 30x face à GB300 NVL72 vers 160 jetons par seconde et par utilisateur. Sur les grands gabarits, l'écart s'ouvre: sur Kimi K3 2,8T paramètres, GB300 NVL72 affiche environ 80x face à H200 NVL8 et pousse l'interaction vers 215 jetons par seconde, hors de portée antérieure. Les résumés CloudNews reprennent ces mesures Nvidia en attente de revue SemiAnalysis.

Ma leçon reste simple: les agents forment désormais la charge de fond, pas un cas limite. Bien les servir exige une conception au niveau du système. Je séparerais les chemins lourds en contexte, je privilégierais un routage attentif à la mémoire gardée, et je suivrais le rendement par mégawatt avec la qualité d'interaction. Pour débuter, les guides d'usage Nvidia et les pages SemiAnalysis offrent une bonne entrée, avec les récapitulés CloudNews pour des chiffres compacts. Quand le rythme des agents, la conduite des modèles et le mouvement des jetons se pèsent ensemble, les priorités se fixent vite.