Servir modelos de IA en Kubernetes con Nvidia Dynamo

Un solo servidor de modelo alegra a todos en una demostración pequeña: abres un punto de entrada, envías solicitudes, recibes respuestas. Cuando el equipo crece y el tráfico se vuelve serio, el cuadro cambia; el mismo punto debe correr sobre un clúster, multiplicarse, repartir las solicitudes a los agentes justos y seguir de pie cuando caen piezas. Llevar un servicio de IA a producción es ordenar esas tareas invisibles mucho más que agrandar el modelo. Justo ahí empieza esta visita: un equipo estrecho en un servidor, rumbo a un punto de entrada compatible con OpenAI sobre Kubernetes.

Sobre Kubernetes, Dynamo sigue el esquema operador: el equipo escribe la instalación deseada en un archivo manifiesto, el clúster guarda ese estado deseado, y el operador dobla el montaje vivo hacia él. La imagen mental cabe en cuatro gestos: escribir la solicitud de despliegue, aplicarla al clúster, confiar las piezas al operador, y enviar el tráfico al punto de entrada compatible con OpenAI. El atractivo es que el despliegue deja de ser un montón de guiones hechos a mano para volverse una faena repetible del clúster. Cuando el diseño de servicio cambia, actualizas la solicitud y reaplicas; el operador carga con el resto. Para un servicio de IA con catálogo vivo, ese bucle es todo el juego.

Dynamo ofrece dos vías al equipo. La primera parte de una DGDR, una declaración de intención: el equipo nombra el modelo, el motor de ejecución, la carga, el parque de aceleradores y los objetivos de servicio, y Dynamo perfila la instalación para producir una receta lista llamada DGD. La otra vía parte directo de un DGD: tomas una receta probada y doblas el grafo de inferencia y la disposición de servicio a lo que necesitas. En ambas vías, el operador vuelve la receta DGD piezas corrientes que sirven el tráfico. La guía primer paso de la docs de Nvidia cuenta este flujo por los gestos aplicar, esperar y sondear con kubectl.

Un cliente envía su solicitud al frontal de Dynamo, que sirve un punto de entrada compatible con OpenAI, así que la forma conocida del lado cliente nunca cambia. Tras esa frontera, Dynamo enruta la solicitud a agentes de fondo, cada uno sirviendo el modelo con un motor de ejecución como SGLang, vLLM o TensorRT-LLM, según la receta. Esta separación importa: el cliente siempre ve la misma interfaz mientras el arreglo de servicio detrás sigue evolucionando. Un equipo que empieza pequeño dibuja un modelo, un motor y una forma de agente en la solicitud; cuando hace falta más capacidad, actualiza el despliegue en vez de reconstruir todo el edificio.

Antes de Dynamo, el equipo vive con un solo servidor de modelo: fácil de lanzar, pero cuando las necesidades crecen, el equipo debe resolver solo despliegue, descubrimiento, escala, enrutado, exposición y observabilidad. Tras Dynamo, una capa de servicio nativa del clúster toma el relevo: la solicitud de despliegue dice lo que se quiere, el operador posee el ciclo de vida, el frontal sigue conocido, y los agentes se ordenan según modelo y motor. El relato de despliegue automático de la docs de Nvidia muestra los gestos finos de la receta generada, de los pasos de perfilado a los objetivos de servicio.

La demostración en vivo mantiene el flujo DGDR a propósito simple. Primero la solicitud se escribe con modelo, motor, carga, aceleradores y objetivos de servicio. Luego el archivo entra al clúster con kubectl. Luego el equipo espera mientras el operador levanta las piezas. Al final una solicitud toca el punto de entrada y una respuesta vuelve. La ruta por la receta lleva a la misma puerta: toma una receta DGD lista, aplícala con kubectl, y deja que el operador vuelva el grafo de inferencia piezas corrientes. De uno u otro modo el resultado es el mismo: una faena repetible del clúster en vez de un montaje hecho a mano.

Esta visita conviene a equipos listos para llevar un punto pequeño a un clúster: dibujar ajustes de modelo, motor y agente en una sola solicitud de despliegue es la salida más limpia. El repositorio ai-dynamo en GitHub hospeda el programa bajo licencia Apache 2.0 con sus gráficos Helm; el operador y los archivos de definición de una primera instalación vienen de ahí. La página de producto de Nvidia pone a Dynamo como servicio de inferencia a escala de producción y envía a los curiosos hacia la docs.