Bonsai 27B Gerçekten Qwen3 27B'nin %98'i mi? Tek RTX 3090'da Ternary Testi

Tek bir RTX 3090 ile 27 milyar parametreli bir model çalıştırmak mümkün mü? Digital Spaceport'un yanıt aradığı soru tam olarak bu. Kanalın en sık gelen isteği olan tek kart veya iki küçük kartla en iyi modeli çalıştırma fikri, bu bölümde PrismML'in ternary tabanlı Bonsai 27B'si üzerinden test ediliyor. Başlıktaki %98 iddiası da testin çıpası: model dokuz kat küçülmüş halde tam hassasiyetli Qwen3 27B'nin neredeyse tamamını koruyor mu?

Ternary Nedir — Üç Değerle Dokuz Kat Küçülme

Ternary kavramı kulağa basit geliyor: her ağırlık için yalnızca -1, 0 ve +1 değerleriyle temsil. İkili sıkıştırmanın iki durumuna karşılık üç durum kullanmak, ölçek başına düşen hatayı azaltıyor. Sonuç, PrismML'in paylaştığı sayılarda net: 16-bit düzende yaklaşık 54 GB yer kaplayan 27B model, ternary düzende 5,9 GB'a, ikili düzende ise 3,9 GB'a iniyor. Hesap kabaca dokuz kat küçülme demek ve 24 GB'lık bir kartın bütçesine tam sığmak demek.

Bu küçülmenin altı boş değil. Bonsai ailesi Qwen3 27B'yi taban alıyor, hibrit dikkat yapısının yaklaşık %75'ini lineer katmanlara çeviriyor ve 262 bin token bağlamı cihaz üzerinde pratik kılıyor. Dil ağı uçtan uca sıkıştırılmış: gömme katmanları, dikkat projeksiyonları, MLP'ler ve LM başlığı aynı düşük bit gösterimde; kaçış için yüksek hassasiyetli bir köşe bırakılmıyor. Görme kulesi ise 4-bit HQQ ile ayrı paketleniyor, vision girişini metinle birlikte işliyor. Üstüne DSpark spekülatif kod çözücünün kayıpsız hızlandırma katmanı ekleniyor.

Tezgâh — Proxmox LXC ve Tek 3090

Kurulum sahnesi tanıdık bir self-hosting düzeni: Proxmox 9 üzerinde 118 numaralı LXC konteyneri, Prox 2 makinesinde. Hugging Face indirmesi hızlı, model küçük olduğu için anahtar atlanabiliyor. Komut, PrismML deposundaki llama sunucu başlatıcısı üzerinden veriliyor. Burada kritik detay, llama.cpp'nin henüz upstream'de bu düşük bit çekirdeklerini içermemesi; doğru çıktılar için PrismML'in çatallanmış dalını çekmek gerekiyor. Ortam değişkenlerinde BONSAI_HOST ile yerel adres 0.0.0.0'a bağlanıyor, temas boyutu otoda bırakılıyor, spekülatif ve KV önbellek daraltma bu testte kapalı tutuluyor.

Yükleme tamamlandığında kart doluluğu 16,772 GB olarak görünüyor; 24 GB'ın içinde epey boşluk kalıyor. Sunucu 192.168.1.61:8080 üzerinden erişilebilir hale geliyor. İlk hız ölçümü sohbet modunda yaklaşık 68 ila 69 token/s düzeyinde ve bir süre aynı bantta kalıyor. Karşılaştırma için önceki tam hassasiyetli Qwen3 27B denemesi dört RTX 3090 ile vLLM'de 40 token/s civarındaydı. Bağlam penceresi 131 bin olarak ayarlı; Hermes Agent gibi çok adımlı iş akışlarında daha yukarı çekmek mantıklı olacak.

Arcade Testi — Aynı Veri Seti, Farklı Çıktı

Testin omurgası adil bir kafa kafaya: daha önce tam hassasiyetli Qwen3 27B ile üretilen oyun salonu paketi, aynı istemlerle Bonsai'ye yeniden yaptırılıyor. Aracın kendisi devreye giriyor, düşünme adımları görünür şekilde tetikleniyor, istem işleme 1.250 token/s civarında başlıyor. Tek üretim 25 bin token üretiyor, istem işleme neredeyse hiç zaman almıyor, kod çözme ise 64,4 token/s'e yerleşiyor. Sonuçlar daha sonra arcade.digitalspaceport.com üzerinden yan yana karşılaştırmaya açılıyor.

Üç mini oyunun her biri farklı bir yüz ortaya koyuyor. İlk atış oyunu yalnızca yana hareket ettiriyor, düşman akışı abartılı, skor sol üstte küçük puntoda 16 bin civarında kalıyor; patron yanlış yöne ateş ediyor. Değerlendirme burada C eksi ve D artı bandında. Space Racer'da şerit değiştirmeler sert, font küçük ve zayıf, kaçış kontrolleri neredeyse oynanamaz hissettiriyor. Pixel Breaker cephesinde çit ve kedi sahnesi fena değil; müzik klişe bulunsa da oynanış daha pürüzsüz, tam ekran olmasa da kırılabilir yıldızlar beklenildiği gibi tepki veriyor.

%98 Gerçek Mi — Sahadaki Not

Videodaki nihai karne net: iki zayıf ve bir orta notla, kalite tam hassasiyetli sürümün gerisinde. Sunucu, %98 hissettirmediğini açıkça söylüyor; müzik ve seviye tasarımı gibi yaratıcı katmanlardaki pürüzler, skor tablolarındaki küçük ama hissedilir sapmalar bunu destekliyor. Bu, laboratuvardaki 15 benchmark ortalamasının 80,49'a karşı 85,0 bandında kalmasıyla, yani yaklaşık %94,6 korunumla da uyumlu bir tablo. Laboratuvar ortalaması ile tekil yaratıcı üretim metriği aynı şey değil; ikincisi daha acımasız.

Hız ve Araç Çağırma Işığı

Olumlu taraf ise hız ve araç çağırma. Sohbet akıcılığı iyi, kod dışı sohbetlerde araç çağrıları isabetli, kaçırma görülmüyor. 3090 üzerinde tek akışta 68 token/s, aynı model için 5090'da ternary 134 token/s'e, 1-bit 163 token/s'e kadar çıkabiliyor; M5 Max'te 58 ve 87 token/s değerleri raporlanmış. DSpark katmanının kayıpsız 1,34 kat hızlanması burada hissediliyor. Bu hız, tek kartı çok adımlı fakat tek kollu bir asistana dönüştürmek için yeterli eşiği veriyor.

Sınır çizgisi de bu noktada beliriyor. Yayında açıkça söyleniyor: sohbet ve tek kollu ajan işleri için tamamen kullanılabilir, fakat ajana dayalı kod geliştirme için henüz iyi bir zaman değil. Gerekçe yaratıcı ve yapısal kod üretiminde görülen kalite kaybı; uzun bağlam ve lineer dikkat mimarisine rağmen seviyeler arası tutarlılık düşüyor. İyileşme potansiyeli var mı sorusu açık bırakılıyor; çatallanmış çekirdekler upstream'e girdiğinde ve bağlam ayarı büyüdüğünde fark kapanabilir.

Pratik çıkarım donanım fiyatlarıyla birlikte okunmalı. Kanalın güncel fiyat pano verisine göre kullanılmış RTX 3090 tabanı 1.400 dolar civarında ve son günlerde yukarı yönlü; 3060 12 GB ise 300 dolar bandında. Çift 3060 12 GB konfigürasyonu ayrı bir hız testine konu ediliyor; tek 3090 ise bellek ve hız açısından zaten eşikte duruyor. Planı tek kartla kurup asistan, doküman okuma ve hafif otomasyon için bu modeli seçmek mantıklı; tam otonom kod ajanı veya görsel ağırlıklı oyun üretimini ana iş yükü yapmak için erken.