ThunderSyncRL: entrenar agentes sin tarjetas vacías y sin datos viejos

Un equipo de Stanford, Yonsei y universidades de Corea abrió el 5 de octubre de 2026 un estudio sobre la herida abierta de los entrenadores de agentes: la mitad de las tarjetas espera el trabajo sin hacer nada. El montaje ThunderSyncRL calcula los gradientes del trabajo listo sin esperar y no cambia nada del resultado. En palabras llanas: no apiles los platos hasta el fin de la cena; lava cada plato sucio al momento pero recoge la mesa de una vez. Esperar cuesta caro, calcular pronto cuesta poco. El informe técnico en arXiv prueba este ciclo en dos objetivos de entrenamiento separados.

El problema es que el entrenamiento de agentes dura mucho y de forma despareja. Un trabajo termina en 10 segundos, otro lucha 10 minutos con las herramientas. En el viejo montaje síncrono, las tarjetas de aprendizaje esperan el trabajo más lento; las medidas muestran 49,5 por ciento del tiempo de paso en espera vacía. Los montajes async que solapan el trabajo por velocidad producen datos viejos en cambio: faenas de una política vieja se mezclan en el paso nuevo, y hacen falta mecanismos extra para corregir. O lento y limpio, o rápido y viejo. El estudio dice que este dilema es falso.

Los platos: lavar al momento, recoger de una vez

El remedio se llama flujo de gradientes. Cada ronda fija la política como una foto; todo trabajo de la ronda queda atado a ella. En cuanto llega la recompensa de un trabajo, su retropropagación empieza sin esperar el resto del grupo. Los resultados parciales se apilan, y un solo paso compartido se da al cerrar el grupo. Como las cuentas se guardan exactas, el resultado iguala al montaje perezoso que calcula todo al final. Ni el objetivo ni el agente ni la recompensa cambian; solo la espera desaparece.

El primer objetivo es GRPO: ocho soluciones separadas por pregunta, y recompensas puntuadas contra la media del grupo. El obstáculo es que la nota de un trabajo depende de todo el grupo. El estudio parte el gradiente en dos: la parte pesada por la recompensa y la parte simple se apilan por separado y se unen con un solo número al cerrar. Así la cuenta pesada de cada trabajo empieza en cuanto llega su recompensa. El entrenador GRPO del paquete verl es la casa natural de este montaje; los registros públicos verl en GitHub muestran cómo el mismo entrenador arma su lógica de grupo.

El segundo objetivo es OPD: un alumno produce el trabajo, un maestro fijo pone nota a cada turno, y el alumno destila de esas notas. Aquí cada turno es su propia fuente: en cuanto llegan las notas del maestro, la retropropagación del turno empieza mientras las herramientas aún giran en la caja de arena. El número de normalización se aplica al cerrar el turno. Los docs SkyRL explican por qué importan las correcciones fuera de política en tales líneas de destilación; ThunderSyncRL nunca pide ese remedio porque lo viejo es cero.

Los números: en un nodo de 8 B200 con el modelo Qwen-3.8-27B, la meta SWE-bench Verified se alcanzó en 121,3 horas-tarjeta en vez de 233,5, o sea 1,9 veces más rápido. El trabajo de terminal en la medida Terminal Bench 4.0 muestra también 1,8 y 1,9 veces de velocidad. Con presupuesto fijo de 128 horas-tarjeta, lidera a los montajes async de 1,27 a 2,47 puntos, delante en las cuatro. El tiempo de paso cayó de 1313 a 687 segundos. Los registros SWEBench escriben que el lote verificado trae 500 faenas reales de depósito; el anuncio TBench cuenta la cuarta salida con duro trabajo de línea de comandos; la evaluación ArtificialAnalysis publica su medida independiente de la misma salida.

Tarjetas parejas hacia dos veces, si no menos: el techo de velocidad

El techo de velocidad sigue el equilibrio de tarjetas: cuando producción y aprendizaje toman igual tiempo, las ganancias rozan 2 veces; cuando uno domina, él pone la cota. Como las duraciones se riegan, la velocidad GRPO trepa de 1,58 a 1,95; el OPD por turno queda entre 1,73 y 1,94. En el modelo chico GLM-4.7-Flash la producción domina, así la velocidad queda en 1,64; en tarjetas H200 donde el trabajo se ata al aprendizaje, se ven 1,63 y 1,67. La eficacia de entrenador lidera cada fila, hasta 45,9 por ciento. El precio es la memoria: guardar gradientes parciales sube los picos por tarjeta de 117,0 a 122,8 GB como máximo.

La teoría dibuja el techo por adelantado también: con producción y aprendizaje en equilibrio exacto y cola nula, la velocidad corre hacia 2 veces; en 588 filas pareadas, la velocidad predicha desde los trazos de salida erró la medida por 1,6 por ciento en promedio, con relojes de pared 6,5 detrás. Así la palabra del modelo y la del campo concuerdan; el resto es costo de ejecución. Esto para la velocidad en cientos de filas, no en una carrera.

La disciplina de medida es estrecha también: 40 rondas por semilla con las 4 primeras contadas en caldeo, rondas 5 a 40 promediadas; semillas 42, 43 y 44. Cada fila usaba la misma carga, el mismo reparto de tarjetas, la misma lista de semillas; así la velocidad vino de fundir la espera, no de cambiar la faena. La tabla apunta igual para la fila LoRA y para el ajuste completo.

El lado de datos también es abierto: 37 mil faenas de entrenamiento del pozo SWESmith para los programas, 4333 faenas del lote SETA-Env en HuggingFace para el terminal, con lotes de medida separados del entrenamiento. La guía SWESmith describe la fábrica de faenas de reparación desde depósitos rotos. Los límites honestos están escritos en el informe: la cuenta temprana pide guardar estado parcial, pagado en memoria; la ganancia sigue al objetivo y al equilibrio; el multi-nodo y la extensión a más objetivos aún faltan. La lección queda clara: cuando el retorno externo cuesta caro, funde la espera vacía, calcula lo listo al momento, une en un paso y nunca mezcles datos viejos. Todo equipo cuya factura de entrenamiento crece aprende la misma lección.