4070 Ti Super Üzerinde 200K Bağlam: Aynı Qwen 27B Dosyası Uyarlanabilir KV Akışıyla Nasıl 4 Kat Hızlandı

Büyük bağlam penceresi genelde yerel donanımı cezalandırır, ama bu test motor değişiminin bu ödünü tersine çevirdiğini savunuyor: aynı Qwen 3.8 27B IQ4XS dosyası, Ryzen 7 ve RTX 4070 Ti Super tezgahında 200.000 birimlik yapılandırılmış bağlama ulaşıp akıcı kaldı. Koşunun arkasında Token Race kanalı var ve hedef taze kısa sohbet değil uzun belge, kod deposu ve ajan oturumu işi. Ana iddia net: pencerenin verimli kalıp kalmayacağına ham video belleği değil bağlam yönetim tasarımı karar veriyor.

Puan tablosu iki boyda da tartışmasız. 100.000 bağlamda uyarlanabilir KV akışı saniyede 34,53 üretim yaparken standart llama.cpp 12,58 düzeyinde kaldı; eşleşmiş komut başına ortalama 2,83 kat üstünlük. 200.000 bağlamda uyarlanabilir yapı 33,68 değerini korurken standart yapı 8,04 düzeyine indi; fark 4,24 kat. Yazar uyarlanabilir yapının iki boyda da 11 eşleşmenin 11'ini kazandığını söylüyor, yani manşet tek elverişli girdiye değil tüm matrise dayanıyor.

Bu iş zeka incelemesi değil çıkarım motoru sonucu olarak çerçeveleniyor ve denetimler bu çerçeveyi taşıyor. Her koşuda aynı IQ4XS dosyası, eşleşmiş bağlam ayarı, tek paralel yuva, flaş dikkat, Q8_0 anahtar ve Q4_0 değer önbelleği, eşleşmiş yığın boyları ve kapalı çok-kipli yansıtıcı taşıma kullanıldı. 11 komutun her biri tamamlamada 256 üretim yaptı; karşılaştırma aynı sunum koşullarında çözümleme davranışına odaklanıyor.

100.000 bağlam ayrıntısı farkın kısa-komut yapayı olmadığını gösteriyor. Kısa girdiler uyarlanabilir tarafta 36 ile 37 bandında toplanırken standart taraf 14 bandında kaldı. Yaklaşık 17.000 girdide ikili 33,55 ve 11,17 okundu; yaklaşık 25.000 girdide 32,44 ve 10,28 geldi. 77.000 girdilik komut iki motoru da beklenen biçimde yavaşlattı ama uyarlanabilir taraf 20,09 üretirken standart taraf 5,06 düzeyinde kaldı; taşınan iş yükü gerçek uzun-bağlam durumu olduğu için bu satır önemli.

200.000 bağlam çizelgesi motor öyküsünü kapasite öyküsüne çeviriyor. 1.000 altı altı girdi uyarlanabilir tarafta 36,77 ve standart tarafta 9,06 ortaladı; 1.000 ile 10.000 arası iki girdi 36,45 ve 8,83 geldi; 10.000 ile 50.000 arası iki girdi 31,42 ve 6,68 kapandı. Kanıt noktası 77.418 girdilik komut: uyarlanabilir tarafta 14,09 ve standart tarafta 3,07, yani saf yerel kurulumları kıran türden uzun belge ya da kod tabanında 4,59 kat üstünlük.

Bellek anlık değerleri yakın kalırken işlem yerleşimi ayrıştı ve bu en öğretici ayrıntı. Uyarlanabilir taraf 100.000 bağlamda 14.606MB ve 200.000 bağlamda 14.510MB bildirdi; standart taraf 13.774MB ve 14.008MB bildirdi. Gözle görülür ayrışma GPU katmanındaydı: uyarlanabilir taraf iki boyda da 66 katmanın 66'sını kartta tutarken standart taraf 54 ve sonra 43 kaydetti. Bu örüntü, çatalın büyük-bağlam baskısını kalıcı kart yerleşiminden uzaklaştırma tasarımını destekliyor.

Düzeneğin üç parçası var: asıl anahtar ve değer tensörleri sabitlenmiş sistem belleğinde duruyor, kart sınırlı yerleşik sayfa havuzu ile aktarım halkası tutuyor ve motor bağlam büyüdükçe bu havuzu yeniden bölüyor. Çözümleme sırasında sonraki katmanların verisi o anki katman işini bitirmeden önden çekiliyor, böylece sıradaki katman sayfasını hazır buluyor. Sade dille: kart model matematiğinde kalıyor, büyüyen bağlamı sistem belleği taşıyor ve etkin çalışma kümesi video bellekten akıyor.

Komutlar da bu bellek-sırtlı tasarımla uyumlu: dizge gömme ağırlığı işlemcide duruyor, 100.000 bağlamda 1024MB ve 200.000 bağlamda 512MB akış aşaması kullanılmış. Standart koşular yerleşimi otomatik sığdırmaya bırakmış ve yapılandırılmış bağlam büyüdükçe karttaki katmanlar azalmış. Çatal belgesi aynı fikri makine başına boyutlanan parçalı CUDA KV akışı ve uyarlanabilir yeniden bölme olarak anlatıyor. Dürüst uyarı daireyi kapatıyor: büyük bağlam bedava değil, aktarımlar gerçek iş yapıyor; 1024 ve 512MB değerleri tezgah başına yeniden doğrulanacak başlangıç noktası.