ThunderSyncRL: Kartları Boş Bekletmeyen, Bayatlamadan Hızlanan Ajan Eğitimi

Stanford, Yonsei ve Kore Üniversitelerinden bir ekibin 5 Ekim 2026 tarihli çalışması, yapay zekâ ajanlarını eğitenlerin kanayan yarasına el atıyor: ekran kartlarının yarısı iş beklerken boş duruyor. ThunderSyncRL adlı düzen, hazır olan işin gradyanını bekletmeden hesaplayıp sonucu değiştirmiyor. Fikir günlük dille şöyle: bulaşıkları yemek bitene kadar biriktirme, kirlenen tabağı hemen yıka ama sofrayı tek seferde topla. Pahalı olan bekleme, ucuz olan erken hesap. arXiv üzerindeki teknik rapor, bu döngüyü iki ayrı eğitim hedefinde kanıtlıyor.

Sorun şu: ajan eğitiminde işler uzun ve dengesiz sürüyor. Kimi iş 10 saniyede bitiyor, kimi 10 dakika aletle uğraşıyor. Eski eşzamanlı düzende öğretmen kartlar en yavaş işi bekliyor; ölçümlerde adım süresinin %49,5i boş beklemeyle geçiyor. Hızlanmak için işleri üst üste bindiren asenkron düzenler ise bayat veri üretiyor: eski politikadan çıkmış işler yeni adıma karışıyor, düzeltmek için ek mekanizma gerekiyor. Ya yavaş ve temiz, ya hızlı ve bayat. Çalışma bu ikilemin sahte olduğunu söylüyor.

Bulaşık benzetmesi: kirlenen hemen yıkanır, sofra tek seferde toplanır

Çözümün adı gradyan akışı. Her turda politika bir fotoğraf gibi sabitleniyor; o turdaki her iş bu fotoğrafa bağlı kalıyor. Bir işin ödülü gelir gelmez onun geri yayılımı başlıyor, grubun kalanı beklenmiyor. Kısmi sonuçlar birikiyor, grup kapanınca tek bir ortak adım atılıyor. Matematik birebir korunduğu için sonuç, her şeyi sonda hesaplayan tembel düzenle aynı oluyor. Ne hedef değişiyor, ne ajan, ne ödül; yalnız bekleme kalkıyor.

Birinci hedef GRPO: bir soruya sekiz ayrı çözüm üretiliyor, ödüller grup içinde ortalamaya göre puanlanıyor. Engel, bir işin puanının grubun tamamına bağlı olması. Çalışma gradyanı iki parçaya ayırıyor: ödülle çarpılan kısım ile düz kısım ayrı birikiyor, grup kapanınca tek katsayıyla birleşiyor. Böylece her işin ağır hesabı ödülü gelir gelmez başlıyor. verl paketinin GRPO eğitmeni bu düzenin doğal evi; GitHub üzerindeki herkese açık verl kayıtları, aynı eğitmenin grup mantığını nasıl kurduğunu gösteriyor.

İkinci hedef OPD: öğrenci iş üretiyor, donmuş bir öğretmen her adıma not veriyor, öğrenci bu notlarla damıtılıyor. Burada her tur ayrı bir kaynak: öğretmenin notu gelir gelmez o turun geri yayılımı başlıyor, alet kum havuzunda çalışırken öğrenme sürüyor. Normalleştirme katsayısı tur kapanınca uygulanıyor. SkyRL belgeleri, politika dışı düzeltmelerin bu tür damıtma hatlarında neden gerekli olduğunu anlatıyor; ThunderSyncRL o düzeltmeye hiç ihtiyaç bırakmıyor çünkü bayatlık sıfır.

Sayılar şöyle: 8 B200 kartlık düğümde Qwen-3.8-27B modeliyle SWE-bench Verified ölçümünde hedef puana 233,5 kart saati yerine 121,3 saatte ulaşılmış, yani 1,9 kat hızlı. Uçbirim işlerindeki Terminal Bench 4.0 ölçümünde de 1,8 ve 1,9 kat hız var. Sabit 128 kart saatlik bütçede asenkron düzenlere 1,27 ile 2,47 puan fark atılmış; dördünde de önde. Adım süresi 1313 saniyeden 687 saniyeye inmiş. SWEBench kayıtları, doğrulanmış kümenin 500 gerçek depo işinden oluştuğunu yazıyor; TBench duyurusu, dördüncü sürümün zorlu komut satırı işleriyle geldiğini aktarıyor; ArtificialAnalysis değerlendirmesi, aynı sürümün bağımsız ölçümünü yayımlıyor.

Kart dengedeyse iki kat, dengesizse daha az: hızın tavanı

Hızın tavanı kart dengesine bağlı: üretim ve öğrenme süreleri eşitse kazanç 2 kata yaklaşıyor, biri baskınsa o belirliyor. İş süreleri dağıldıkça GRPO hızı 1,58den 1,95e çıkıyor; tur başına düşen OPD hep 1,73 ile 1,94 arasında. Küçük GLM-4.7-Flash modelinde üretim baskın olduğu için hız 1,64te kalıyor; H200 kartlarda iş öğrenmeye bound olunca 1,63 ve 1,67 görülüyor. Eğitmen verimliliği her dizilimde en yüksekte, %45,9a kadar çıkıyor. Bedeli bellek: kısmi gradyanları tutmak kart başına en çok 117,0 GBtan 122,8 GBa çıkarıyor.

Kuram da tavanı önceden çiziyor: üretimle öğrenme birebir dengedeyse ve kuyruk sıfırsa hız 2 kata koşuyor; 588 eşli dizilimde izlenen salım kayıtlarından öngörülen hızla ölçülen hız ortalama %1,6 sapmış, duvar saati %6,5 geride kalmış. Yani modelin dediğiyle sahanın dediği tutuyor; kalan fark çalıştırma gideri. Bu, hız iddiasını tek koşuya değil yüzlerce dizilime dayandırıyor.

Ölçüm disiplini de sıkı: her tohumda 40 tur koşulup ilk 4 tur ısınma sayılmış, 5 ile 40 arası 36 tur ortalanmış; tohumlar 42, 43 ve 44. Her dizilimde aynı iş yükü, aynı kart dağılımı, aynı tohum listesi kullanılmış; yani hız, işi değiştirerek değil beklemeyi eriterek gelmiş. LoRA diziliminde de tablo aynı yönde, tam ince ayarda da.

Veri tarafı da şeffaf: program işleri için SWESmith havuzundan 37 bin eğitim işi, uçbirim işleri için HuggingFace üzerindeki SETA-Env kümesinden 4 bin 333 iş kullanılmış; ölçüm kümeleri eğitimden ayrılmış. SWESmith kılavuzu, bozuk depolardan onarım işi üretmeyi anlatıyor. Dürüst sınırlar raporda yazıyor: erken hesap kısmi durum tutmayı gerektirir, bellekte ödenir; fayda hedefe ve dengeye bağlı; çok düğümlü çalışma ve başka hedeflere genelleme henüz yok. Yine de ders net: dış geri bildirim pahalıysa boş beklemeyi erit, hazır olanı hemen hesapla, tek adımda birleş, bayat veriyi karıştırma. Yapay zekâ eğitimi faturası kabaran her ekip için ders aynı.