TiDAR: Difüzyonla Düşünüp Otoregresif Konuşan NVIDIA Mimarisi

Video beni en çok yakalayan gözlemle açılıyor: büyük bir dil modeli token token yazarken GPU çoğu zaman tam güç hesap yapmıyor, belleği bekliyor. Yeni tek bir token üretmeden önce ağırlıkların ve önbelleğe alınmış anahtarların yüklenmesi gerekiyor. Her adımda boşa yatan bir aritmetik kapasite kalıyor.

NVIDIA ekibinin sorusu şaşırtıcı derecede pratik: bu boş kapasiteye usual bedelleri ödemeden ne doldurulabilir? Önceki cevapların hepsi bir şey istiyordu. Küçük bir taslak model ekstra süre yer ve doğruluğu kadar yaşar. Difüzyon tarzı paralel yazarlar hızlı ama kalite düşer. Bu çalışma hız artışını kalite vergisi olmadan, sadece ekstra elektrikle istiyor.

Yönteme geçmeden anlatıcı iki temeli sıfırdan kuruyor. İlki klasik tek-tek yazan model: tüm ön metni okur, tam bir token üretir, başa döner. Eğitim hızlı görünür çünkü doğru cevap zaten bellidir, üçgen maske arkasında her konum aynı anda denetlenir. Ama canlı yazımda gelecek bilinmediği için üretim inatla sıralı kalır.

İkinci temel difüzyon yazarı: ön metinden sonra dizilen boşlukları tek hamlede doldurur. Püf noktası her konumun kendi ayrı tahmininden çekilmesi, komşusunun ne olacağını görmemesi. Buradaki bir fiil şurayı değiştirir ama iki çekiliş birbirine danışmaz. Paralel taslakların akıcı ama gevşek akıl yürütmesinin sebebi bu bağımsızlık.

İki dünya arasındaki köprü videoda bir kahin hikayesiyle anlatılan eski bir numara. Biri kulağına üç token fısıldasa ona körü körüne inanmazsın: bilinen bir diziyi denetlemek eğitim gibi paralelleştiği için üçünü birden sınarsın. Fısıltı dikkatli yazımın üreteceğiyle aynıysa tek geçiş parasına üç token kazanırsın.

Standart öneri-denetim hızlandırması bu hikayeyi sisteme çevirir: minik hızlı model fısıldar, büyük model denetler. Hesap ancak fısıldayan hem hızlı hem genelde haklıysa kazanır. Yavaş veya özensiz bir yardımcı kazancı siler, hatta süre kaybettirir. Her şey kabul oranına bağlı, sunucu ekiplerinin doğru devle doğru yardımcıyı eşleştirmeye kafa yorması bu yüzden.

TiDAR yardımcıyı tamamen ortadan kaldırıyor. Tek bir gövde iki rolü aynı geçişte oynuyor. Her adımda dizi üç bölgeye ayrılıyor: kesinleşmiş ön metin, önceki adımdan taşınan adaylar ve sonraki tur tahminler için ayrılmış boşluklar. Kesinleşenlerin önbelleği korunuyor, reddedilenler atılıyor, ikinci bir modele gerek kalmıyor.

Bana en parlak görünen kısım her olası geleceğe aynı anda oynaması. Taşınan adaylar sıkı soldan-sağa puanlamayla denetlenirken model taze tahminleri de hazır tutuyor: sadece ilk adayın yaşadığı gelecek için bir tane, ilk ikinin yaşadığı için bir tane, üçünün de yaşadığı için bir tane. Denetim hangisini onaylarsa ona uygun tahmin zaten hazır bekliyor. Tek geçiş, iki iş birden.

Bunun çalışması büyük ölçüde bir maske bulmacası. Kesinleşmiş tokenlar dikkatli örneklemenin ihtiyacı olan sıkı geçmiş-görüşü koruyor. Her tahmin bloğu kendi içinde tam görüş alıyor, paralel taslağın ihtiyacı olan bu, ama kesinleşmiş geçmişin tamamını da görüyor. Önekler maske metin uzadıkça kayabilecek şekilde yerleşiyor. Ekstra bloklar işi küçük bir sabit katsayıyla çarpıyor, modern birleşik dikkat mekanizmaları bellek-hesap takasıyla bu yükü tam da boşta duran kapasitenin üstüne koyuyor.

Eğitim aynı ikiliği egzotik tarifeler olmadan yansıtıyor. Her örnek tek uzun dizide iki kez görünüyor: bir kez sıradan sonraki-token denetimiyle, bir kez tamamen boşaltılmış bloğu paralel doldurmayla. İki kayıp eşit ağırlıkla toplanıyor. Sonradan ayarlanacak bir üretim düğmesi yok, ama yazarlar daha iyi tahmin için ekstra geçiş harcamak isteyen ekiplerin fantezili açma tarifelerini üstüne ekleyebileceğini not ediyor.

Beni yerimden kaldıran kısım raporlanan rakamlar oldu. 1.5B ve 8B ölçeklerde, üretkenlik ve olasılık görevlerinde sistem eşdeğer dikkatli yazara göre saniyede kabaca 4.71x ile 5.91x arası fazla token üretiyor, tam önbellek desteği korunuyor. Kabul edilen metin sıkı dağılım altında yeniden puanlandığı için çıktı kalitesi yapısal olarak otoregresif tabanla aynı, Dream ve LLaDA gibi saf difüzyon sistemlerini ise hem hızda hem kalitede açıkça geçiyor. Yazarlar bunu konuşlandırması sade, tek başına duran, sunucuya uygun bir model olarak sunuyor.