EAGLE-4 Qwen 27B hızını 3,59 kata taşıdı

Evde Qwen 3.8 27B çalıştıranlar bu modelin ne denli durgun yazdığını bilir: zeki bir yapay zeka modeli, ancak her token tek tek tartılarak ekrana düşer. 20 Ekim günü Local Llama üzerinde beliren duyuru bu durgunluğa son vaat etti: EAGLE-4, DFlash 2 ve DSpark sürümlerinden hızlı gösterildi ve tablo paylaştı. Tabloda dahili MTP 2,22 kat, DSpark 2,57 kat, DFlash 2 ise 2,80 kat hızlı görünürken EAGLE-4 tam 3,59 kat ile öne çıktı. Sayı gerçek ve 12 sayfalık çalışmadan alınma. Ancak ölçüm yeri dipnotta gizli: dört B300 yongalı sunucu, tek kullanıcı, sıcaklık 0. Bu koşul değiştiği anda tablo da değişir.

Kim üretti ve geçmiş neden önemli

EAGLE-4, Waterloo Üniversitesi öğretim üyesi Hongyang Zhang öncülüğündeki Eagle AI grubundan geldi; ekip EAGLE 1, 2 ve 3 sürümlerini yazan çekirdek kadro. Bu geçmiş boş bir rozet değil: çalışmada DeepSeek V4, Qwen 3 ve Gemma 4 içindeki dahili çok token öngörü başlıklarının aynı EAGLE tasarımını izlediği vurgulanıyor, yani MTP açan herkes bu fikrin kuzenini zaten denemiş oldu. Duyuru yalnız bir blog yazısı değil; 12 sayfalık çalışma, github üzerindeki EAGLE-4 deposunda herkese açık taslak ağırlıkları ve Hugging Face dosyalarıyla geldi. Ortak listesinde Nvidia, AMD, vLLM ve SGLang yer alıyor.

Rakip yöntemlerin neden ayrı davrandığını görmek için tek fikri tutmak yeter: spekülatif çözümleme. Büyük model yavaş, çünkü her yeni token için 27B parametre hafızadan okunuyor; işlem hızlı, bekleme uzun. Bunu yoğun bir mutfak gibi düşün: usta şef ağır ve titiz, yanında hızlı bir stajyer var. Stajyer sıradaki tabakları şefin isteyeceği biçimde önceden hazırlar, şef tek bakışta tüm diziyi onaylar, doğru olanları geçirir, ilk yanlışta durur ve düzeltir. Tek okuma ile birkaç token dışarı çıkar. Şef her adımı denetlediği için sonuç kayıpsız olur; MTP, DFlash 2, DSpark ve EAGLE-4 tümü bu yoldan yürür, ayrım yalnız stajyerin hazırlanma biçiminde.

EAGLE-4 rakiplerinden daha iyi tahminle değil, ne zaman duracağını bilerek öne çıkıyor. eagle blog yazısının tanıttığı EAGLE-Harness o anki yükü, donanım hızını ve tahmin güvenini ölçerek taslak derinliğini ayarlıyor. Mutfak sakinken derine dalarak birkaç dalı birlikte dener, yoğun saatte bir iki token yazıp durur. Taslak yazıcı da küçük: DFlash 2 ve DSpark taslaklarındaki beş katmana karşı tek katman taşıyor, çalışma bu sayede tahmin başına yaklaşık 3,8 kat daha az işlem gerektiğini yazıyor. İkinci hüner sözlük tarafında: Qwen sözlüğü yaklaşık 248 bin token içeriyor ve tümünü puanlamak taslak süresinin yüzde 65 kadarını yutuyordu. EAGLE-4 önce 128 adaylık kısa liste çıkarıyor, yalnız onları puanlıyor; adım süresi yarıdan fazla kısalıyor ve doğru yanıt yüzde 98 olasılıkla listede kalıyor.

Sıcaklık ve yüke göre sonuçlar

Manşetteki 3,59 sayısı sıcaklık 0 ile ölçüldü; model her adımda en olası tokeni tercih ediyor, rastgelelik kapalı. Oysa çoğu sohbet uygulaması sıcaklık 1 dolayında örnekleme yapıyor. EAGLE tablosunda sıcaklık 1 ile EAGLE-4 2,59 kata, DFlash 2 ise 2,39 kata iniyor; aradaki fark yüzde 28 düzeyinden yüzde 8 düzeyine çekiliyor. Tabloda bedava bir ders de var: her yöntem sıcaklık 0 ile daha hızlı, çünkü rastgelelik tahmini tutturmayı zorlaştırıyor. Tutarlı yanıt istenen yazım ve matematik işlerinde sıcaklığı 0 tutmak en ucuz hız artışı. Yük boyutu da tabloyu tersine çeviriyor: 512 kullanıcıda EAGLE-4 toplam 28 bin tokene karşı 21 bin token ile 1,34 kat önde kalırken DFlash 2 0,78 kata, DSpark 0,67 kata geriliyor, dahili MTP 1,01 katta zor duruyor.

Dörtlü sıralama eldeki hızdan yeniye doğru diziliyor. Dahili MTP ek indirme istemiyor; llama.cpp ve LM Studio desteği hazır, tek kullanıcıda 2,22 kat veriyor, sıcaklık 1 ile 1,6 kata iniyor. DSpark bloğu koşut yazıp küçük ardışık başlıkla toparlıyor, tek kullanıcıda 2,57 kat ölçülüyor; arxiv üzerindeki DSpark çalışması yöntemin ayrıntısını veriyor ve Qwen taslağı resmi olmadığı için testte RedHat topluluğu uyarlaması kullanıldı. DFlash 2 ağustos ayında Inco grubundan geldi, tek geçişli yayılım tarzı taslakla bu modelde gözde oldu; EAGLE ölçümü 2,80 kat derken inco blog yazısı Qwen 27B üzerinde 2,7 ile 3,4 kat aralığını öne sürüyor. EAGLE-4 3,59 kat ile yaklaşık 864 tokene karşı 240 token diziyor. Yapay zeka sunucu tarafında AMD MI355X üzerinde 3,49 kat, Nemotron 3.5 Super üzerinde dahili MTP 2,41 kata karşı 2,74 kat yazıldı.

Burada dürüst bir dipnot gerekli: tüm sayılar EAGLE grubundan ve lansman ortaklarından geliyor, bağımsız tekrar ölçümü henüz yok. EAGLE ekibi DFlash 2 ve DSpark sürümlerini adı açıklanmayan bir motorda kendileri koşturdu. Herkese açık destek sayfası daha tutumlu: tek kullanıcıda SGLang ile 3,3 ile 3,4 kat aralığı, vllm tarafında yaklaşık 3 kat yazıyor; vLLM belgeleri spekülatif çözümleme ayarlarını ayrıntılı anlatıyor. Bu tabloyu sahte yapmaz, belgeler sınırları açık yazmış, bu iyi izlenim bırakıyor. Yine de yanıtsız soru duruyor: Inco kendi yöntemini aynı donanımda kendi ayarıyla koşturunca ne çıkacak? O yanıt gelmeden DFlash 2 geçildi iddiasını güçlü iddia artı soru işareti gibi okumak gerekir.

Bu akşam çalıştırma sorusunun kısa yanıtı hayır. Gelen paket yalnız yamalı SGLang, vLLM ve TokenSpeed sürümlerine takılıyor ve yalnız B300 ile MI355X donanımında sınandı. llama.cpp, LM Studio, MLX ve Ollama desteği yok, kayıt anında açık birleştirme isteği bile görünmüyor. Dosyalar da ağır: test düzeneği Qwen 27B modelini 16 bit duyarlıkla yaklaşık 55 GB yayarak dört yongada koşturuyor, EAGLE-4 taslağı tek başına 6,2 GB indirme istiyor. 16 GB hafızalı küçük masaüstü sistemde taslak tek başına üçte birden fazla alanı tutuyor. Lisans tarafı da var: EAGLE-4 açık kaynak değil, kaynağı görülebilir lisans taşıyor; bireysel ve inceleme kullanımı bedava, ticari kullanım 20 milyon yıllık gelir sınırına bağlı ve rakip çıkarım çatılarına özel bir madde içeriyor. Karşılaştırma için github üzerindeki SafeAILab EAGLE arşivi ilk üç sürümün Apache lisanslı olduğunu gösteriyor; EAGLE-3 desteği haziran ayında llama.cpp içine girdi. Yapay zeka ev kullanıcısı için pratik yol haritasını unsloth rehberi çiziyor: Qwen yerelde MTP ile nasıl koşturulur, adım adım anlatıyor.

Gündemin en tatlı satırı telefonda gizli. Küçültülmüş Gemma 4 modeli 4 bit duyarlıkla Motorola Razr 70 Ultra üzerinde, yalnız telefon işlemcisiyle ve llama.cpp derlemesiyle sınandı. Yazım ölçütünde normal çözümleme 23 token üretirken EAGLE-4 ile 83 token görüldü, yani 3,6 kat hız. Enerji tarafı daha çarpıcı: token başına 356 milijul yerine 166 milijul, aynı yanıt 43 saniye yerine 14 saniyede bitti. Gemma taslağı yalnız 134 MB. Dört çekirdekli küçük bulut sisteminde ortalama 2,7 kat, EAGLE-3 ile aynı düzende 1,25 ile 1,65 kat aralığı yazıldı. İki pürüz var: telefon ölçümü serin donanımda alındı, 30 ile 45 saniye kesintisiz üretim sonrası hız düşüyor. Büyük pürüz ise bu özel llama.cpp derlemesi ile küçük Gemma taslağının henüz yayınlanmaması; yerel kullanım dostu parça indirilmeyi bekliyor.

Bugün için yol haritası net. llama.cpp ya da LM Studio içinde Qwen 3.8 27B çalıştıranlar beklemesin, önce dahili MTP açılsın; bedava ve hazır. Ardından DFlash 2 ya da DSpark sınansın, LM Studio 0.4.22 sürümü ikisini de içeriyor. Küçük masaüstü tarafında topluluk MLX uyarlaması M4 Pro 48 GB üzerinde 4 bit model ile 40 token düzeyini, 2,7 kat hızı gösterdi. Yapay zeka agent iş yükleri ve llm sohbet sunucuları yoğun kullanıcıya hizmet veriyorsa ve lisans uyuyorsa EAGLE-4 gerçek yükte sınanmaya değer; kalabalıkta fark büyüyor. Hangi sayı görülürse görülsün iki soru sorulsun: sıcaklık kaçtı ve donanımı kaç kullanıcı paylaşıyordu? Sıfır ile bir yanıtı geliyorsa en iyi durum tablosu izleniyor demektir. Yapılmayan tahmin en hızlı tahmindir ve bu kural veri merkezinde neyse telefonda da o.