ThunderSyncRL : entraîner des agents sans cartes vides et sans données périmées

Une équipe de Stanford, Yonsei et des universités de Corée a ouvert le 5 octobre 2026 une étude sur la plaie ouverte des entraîneurs d'agents : la moitié des cartes attend le travail sans rien faire. Le montage ThunderSyncRL calcule les gradients du travail prêt sans attendre et ne change rien au résultat. En mots simples : ne pas empiler la vaisselle jusqu'à la fin du dîner ; laver chaque assiette sale aussitôt mais débarrasser la table en une fois. Attendre coûte cher, calculer tôt coûte peu. Le rapport technique sur arXiv prouve cette boucle sur deux objectifs d'entraînement séparés.

Le problème, c'est que l'entraînement d'agents dure longtemps et de façon inégale. Un travail finit en 10 secondes, un autre lutte 10 minutes avec les outils. Dans l'ancien montage synchrone, les cartes d'apprentissage attendent le travail le plus lent ; les mesures montrent 49,5 pour cent du temps de pas passé en attente vide. Les montages async qui chevauchent le travail pour la vitesse produisent des données périmées à la place : des travaux d'une vieille politique se mélangent dans la nouvelle étape, et il faut des mécanismes en plus pour corriger. Soit lent et propre, soit rapide et périmé. L'étude dit que ce dilemme est faux.

La vaisselle : laver aussitôt, débarrasser en une fois

Le remède s'appelle flux de gradients. Chaque tour fige la politique comme une photo ; tout travail du tour reste lié à elle. Dès que la récompense d'un travail arrive, sa rétro-propagation commence sans attendre le reste du groupe. Les résultats partiels s'empilent, et une seule étape partagée est prise à la fermeture du groupe. Comme les maths sont exactement gardées, le résultat égale le montage paresseux qui calcule tout à la fin. Ni l'objectif ni l'agent ni la récompense ne changent ; seule l'attente disparaît.

Le premier objectif, c'est GRPO : huit solutions séparées par question, et des récompenses notées par rapport à la moyenne du groupe. L'obstacle, c'est que la note d'un travail dépend de tout le groupe. L'étude coupe le gradient en deux : la partie pondérée par la récompense et la partie simple s'empilent séparément puis fusionnent avec un seul scalaire à la fermeture. Ainsi le gros calcul de chaque travail commence dès que sa récompense arrive. L'entraîneur GRPO du paquet verl est la maison naturelle de ce montage ; les registres publics verl sur GitHub montrent comment le même entraîneur construit sa logique de groupe.

Le deuxième objectif, c'est OPD : un élève produit le travail, un enseignant figé note chaque tour, et l'élève distille de ces notes. Ici chaque tour est sa propre source : dès que les notes de l'enseignant arrivent, la rétro-propagation du tour commence pendant que les outils tournent encore dans le bac à sable. Le scalaire de normalisation s'applique à la fermeture du tour. Les docs SkyRL expliquent pourquoi les corrections hors-politique comptent sur de telles lignes de distillation ; ThunderSyncRL ne demande jamais ce remède car le périmé est zéro.

Les chiffres : sur un nœud de 8 B200 avec le modèle Qwen-3.8-27B, la cible SWE-bench Verified fut atteinte en 121,3 heures-cartes au lieu de 233,5, soit 1,9 fois plus vite. Le travail de terminal sur la mesure Terminal Bench 4.0 montre aussi 1,8 et 1,9 fois de vitesse. À budget fixe de 128 heures-cartes, il mène les montages async de 1,27 à 2,47 points, devant sur les quatre. Le temps de pas tomba de 1313 à 687 secondes. Les registres SWEBench écrivent que le lot vérifié tient 500 vrais travaux de dépôt ; l'annonce TBench rapporte la quatrième sortie avec du dur travail en ligne de commande ; l'évaluation ArtificialAnalysis publie sa mesure indépendante de la même sortie.

Cartes équilibrées vers deux fois, sinon moins : le plafond de vitesse

Le plafond de vitesse suit l'équilibre des cartes : quand production et apprentissage prennent un temps égal, les gains frôlent 2 fois ; quand l'un domine, il fixe la borne. Comme les durées s'étalent, la vitesse GRPO grimpe de 1,58 à 1,95 ; l'OPD par tour reste entre 1,73 et 1,94. Sur le petit modèle GLM-4.7-Flash la production domine, donc la vitesse reste à 1,64 ; sur cartes H200 où le travail se lie à l'apprentissage, on voit 1,63 et 1,67. L'efficacité d'entraîneur mène chaque rangée, jusqu'à 45,9 pour cent. Le prix, c'est la mémoire : garder des gradients partiels monte les pics par carte de 117,0 à 122,8 Go au plus.

La théorie dessine le plafond à l'avance aussi : avec production et apprentissage en équilibre exact et une queue nulle, la vitesse court vers 2 fois ; sur 588 rangées appariées, la vitesse prédite depuis les traces de sortie a raté la mesurée de 1,6 pour cent en moyenne, avec des horloges murales 6,5 derrière. Donc le mot du modèle et le mot du terrain s'accordent ; le reste est coût d'exécution. Cela pose la vitesse sur des centaines de rangées, pas sur une course.

La discipline de mesure est serrée aussi : 40 tours par graine avec les 4 premiers comptés en chauffe, tours 5 à 40 moyennés ; graines 42, 43 et 44. Chaque rangée utilisait la même charge, la même part de cartes, la même liste de graines ; donc la vitesse vint de fondre l'attente, pas de changer le travail. Le tableau pointe pareil pour la rangée LoRA et pour le réglage complet.

Le côté données est transparent aussi : 37 mille travaux d'entraînement du pool SWESmith pour les programmes, 4333 travaux du lot SETA-Env sur HuggingFace pour le terminal, avec des lots de mesure séparés de l'entraînement. Le guide SWESmith décrit la fabrique de travaux de réparation depuis des dépôts cassés. Les limites honnêtes sont écrites dans le rapport : le calcul tôt demande de garder un état partiel, payé en mémoire ; le gain suit l'objectif et l'équilibre ; le multi-nœud et la généralisation à plus d'objectifs manquent encore. La leçon reste nette : quand le retour extérieur coûte cher, fonds l'attente vide, calcule ce qui est prêt aussitôt, fusionne en une étape, et ne mélange jamais de données périmées. Toute équipe dont la facture d'entraînement gonfle en tire la même leçon.