Veo la ruptura desde el inicio: el diálogo común late como un metrónomo, mientras el trabajo de agentes parece una cocina llena. El modelo traza un plan, llama herramientas, lee resultados y vuelve a empezar con contexto ampliado. La respuesta única pertenece a una etapa anterior; los sistemas actuales cargan una memoria que crece, y el flujo de tokens sube rápido.
La cifra que me marca ronda quince veces el consumo. OpenRouter observó 100T tokens reales: un pedido aislado de agentes quema cerca de 15x más tokens que un cambio banal. Imagino una superficie plana convertida en volumen . Un coordinador principal además reparte fragmentos entre ayudantes. En una sesión real de software, el contexto retenido pasó de 60 000 hacia 400 000, porque cada vuelta arrastra el historial.
Por qué la vieja vara falla
La vieja vara me resulta estrecha. Enviar 8 000 tokens de entrada más 1 000 de salida y citar velocidad describe un turno aislado, no una misión viva. La medición nueva repite sesiones reales de software, con casi 99 000 llamadas a modelos . Los tamaños cambian, las pausas junto a herramientas quedan intactas. Los contextos en espera siguen residentes, así la memoria guardada permanece caliente. Cada plataforma recibe los mismos registros, lo cual aísla el hardware y la capa de servicio.
Razono como una fábrica: cuánto trabajo útil de agentes sale de un presupuesto fijo de energía. El rendimiento bruto puede esconder una interacción lenta, así que lo uno con velocidad visible, demora total y primera respuesta. Cuando la carga simultánea sube, cada participante baja el ritmo; muy poca carga deja recursos ociosos. Las mejores configuraciones maximizan el caudal útil por megavatio sin perder viveza. El ritmo de agentes, la conducta de modelos y el flujo de tokens se leen juntos.
La coordinación integral crea ventaja
Las ganancias nacen de orquestación antes que de ajustes aislados; escucho una orquesta , no un solista. NVLink une 72 aceleradores en un dominio rápido único, y los grandes modelos de expertos actúan como un sistema unido. Dynamo separa el cálculo inicial de la generación, dimensiona cada grupo por separado y dirige las vueltas nuevas hacia trabajadores que ya guardan el contexto. TensorRT-LLM suma precisión NVFP4 y amplio paralelismo de expertos, lo cual ocupa las unidades mientras miles de agentes avanzan juntos. Las notas de ingeniería de Nvidia describen este plano, y las cifras repetidas de SemiAnalysis lo confirman.
Lado a lado, las cifras publicadas cuentan una historia clara. GB300 NVL72 entrega hasta 15x el caudal de fábrica por megavatio frente a H200 NVL8 en trabajo DeepSeek V4 Pro, con costo por millón de tokens reducido hasta 10x. Vera Rubin NVL72 alcanza hasta 30x frente a GB300 NVL72 cerca de 160 tokens por segundo y por usuario. En moldes grandes se abre la brecha: en Kimi K3 de 2,8T parámetros, GB300 NVL72 marca cerca de 80x frente a H200 NVL8 e impulsa la interacción hacia 215 tokens por segundo, fuera del alcance anterior. Los resúmenes de CloudNews recogen estas mediciones de Nvidia a la espera de revisión de SemiAnalysis.
Mi lección sigue simple: los agentes ya forman la carga base, no un caso extremo. Atenderlos bien exige diseño a nivel de sistema. Yo separaría rutas pesadas en contexto, priorizaría encaminamiento atento a la memoria guardada y seguiría el rendimiento por megavatio junto a la calidad de interacción. Para empezar, las guías de uso de Nvidia y las páginas de SemiAnalysis ofrecen una buena entrada, con los compendios de CloudNews para cifras compactas. Cuando el ritmo de agentes, la conducta de modelos y el movimiento de tokens se pesan juntos, las prioridades se fijan rápido.
| Tema | Señal |
|---|---|
| Carga agente | Un pedido aislado quema ~15x; contexto hacia 400 000. |
| Repetición fiel | Casi 99 000 llamadas repetidas; mismos datos en todo. |
| Triunfo sistema | GB300 15x, Vera Rubin 30x, Kimi K3 muestra 80x. |
Momentos clave
Comentario de la IA
"Me mantengo prudentemente optimista. Las cifras impresionan, pero el método pesa más; las sesiones repetidas me dan confianza. Sigo el rendimiento y la viveza juntos, nunca un solo indicador."
Evaluación de la IA
Los escépticos recuerdan con razón que estos registros vienen de Nvidia y esperan validación de SemiAnalysis. Trato por tanto los 30x de Vera Rubin y los 35x de costo como preliminares, como señala CloudNews. Los planes de capacidad deberían apoyarse en las brechas GB300 frente a H200 mientras falte confirmación independiente.
La presión de memoria forma mi segunda reserva. Sin encaminamiento atento a la memoria guardada, los recálculos repetidos erosionan el rendimiento. La tasa de 97% de Dynamo y la banda de uso de 75-85% pesan muchísimo; las guías de Nvidia citan ventanas de 30 000 a 120 000 tokens que cada operador debe respetar. Fuera de esa banda, la viveza cae y el gasto sube.
El equilibrio bajo carga simultánea motiva mi tercera prudencia. Las repeticiones muestran salida mediana 22,2% mayor con 512 flujos paralelos, mientras el flujo frontal pasa de 932 hacia 1133 pedidos por segundo. Muy poca carga adormece recursos, demasiada carga frena a cada uno. El punto justo vive donde el caudal de fábrica cruza la viveza por usuario.
Qué cambiaría mi mirada? Repeticiones independientes que borren las brechas de rendimiento por megavatio. La dirección parece durable porque el volumen de agentes crece de forma estructural. Mantengo la atención en la arquitectura de conjunto antes que en componentes aislados, y la evidencia de Nvidia, SemiAnalysis y CloudNews hoy apunta en un mismo sentido.
Fuentes
5 enlaces; ninguna otra noticia publicada los cita. Stories sharing a link do not confirm each other; a source's origin is not inferred from how often it is cited.
agentes · inferencia · tokens · modelos · nvidia · dynamo · mediciones