Sekiz B300 ve Kimi K3: 128 Kullanıcılı Sunucu Testinden Çıkan Gerçek Rakamlar

BIZON ekibi, müşteriye teslim edilecek altı sunucudan birini kargoya vermeden önce ölçüm masasına yatırdı. İnceledikleri makine X9000: Nvidia'nın DGX sınıfına denk gelen, 8 adet B300 taşıyan 5U bir canavar. B300'lü sistemler hem çok pahalı hem de hakkında adam akıllı test bulmak zor, o yüzden bu video niş bir boşluğu dolduruyor. Benim gözümde videonun değeri yorumda değil, ekrandaki sayaçlarda: güç, sıcaklık ve kullanıcı başına hız aynı karede akıyor.

Test edilen konfigürasyonun künyesi şöyle: CPU tarafında 128 çekirdekli iki Intel Xeon, bellek tarafında 2 TB RAM. Videoda da esprisi yapılıyor, bugünlerde bellek fiyatları el yakıyor. GPU tarafında 8 adet B300 var. Satıcının sayfasında bu makinenin başlangıç fiyatı 472.233 dolar görünüyor, stokta 12 adet yazıyor; yani tek bir kutu, orta ölçekli bir şirketin yıllık teknoloji bütçesi demek.

Kasa 5U ve iki katlı tasarlanmış. Üst katmanda fan duvarı ve kızaklar üzerinde GPU'lar duruyor; kapağı kaydırınca her bir kartın üzerindeki devasa soğutucu bloğu ortaya çıkıyor. Alt katmanda CPU ve bellekler, yanlarda NVMe yuvaları var. Arka yüzde ise sunucuları birbirine bağlayan InfiniBand portları dizili; üretici sayfasına göre kart başına 800 Gb/s XDR ve GPU'lar arası NVLink ile 1,8 TB/s bant genişliği söz konusu.

B300'ü kısaca yerine koyalım: Blackwell Ultra mimarisi, kart başına 288 GB HBM3e bellek ve bu HGX formunda 1.100 W güç zarfı. Videoda kart başına 280 GB civarı kullanılabilir bellekten söz ediliyor, resmi rakamla aradaki fark sürpriz değil. Önemli bir ayrım: 1.400 W'lık rakam sıvı soğutmalı GB300 raf sistemine ait; bu videodaki gibi hava soğutmalı HGX kutuda sınır 1.100 W. İkisini karıştırmak, güç ve soğutma hesabını baştan bozar.

İş yükü olarak Kimi K3 seçilmiş; Moonshot'un açık ağırlıklı amiral gemisi, 2,8 trilyon parametreli bir MoE mimarisi ve 1 milyon öbeklik bağlam penceresi taşıyor. Model 8 GPU'ya paralel yüklenmiş ve kart başına 266 GB bellek doluluğu görülüyor. Yani 1,6 TB mertebesindeki model dosyası, milyon öbeklik pencereyle birlikte VRAM'e sığıyor. Videonun iddiası da bu zaten: Kimi K3 sınıfı bir modeli tam boy çalıştırmak için bu ligde bir kutu gerekiyor.

Test düzeneğinin arka planında vLLM çalışıyor; Nvidia'nın da önerdiği, çok kullanıcılı çıkarım için optimize edilmiş açık kaynaklı sunucu motoru. Ekip bunun üzerine basit bir test arayüzü kurmuş: komutu veriyorsun, üretim hızını, GPU kullanımını, güç ve sıcaklığı aynı ekranda izliyorsun. Bu sadelik önemli, çünkü videonun bütün iddiası gözleme dayanıyor, sentetik bir kıyas tablosuna değil.

Tek kullanıcıda sonuç 100 öbek/saniye. Ekip bir ara 280'e kadar çıktığını ama ayarın kararlı çalışmadığını söylüyor, o yüzden ham taban değer olarak 100'ü raporluyorlar; bence doğru karar. Bu koşuda GPU'lar yüzde 100 kullanımda 596 W çekiyor, sıcaklık 52 derece civarında seyrediyor. Yük uzadıkça bazı kartlarda 75-76 dereceler görülüyor; boşta 44 derece olan kartlar için hava soğutmada makul bir eğri.

Sonra iş ciddileşiyor: 32 eşzamanlı kullanıcı, yani 32 kişi aynı anda sohbet robotuna yükleniyormuş gibi. Kişi başı hız 64 öbeğe düşüyor ama kimse takılmıyor, 32. kullanıcının akışı bile sürüyor. Toplam üretim 2.058 öbek/saniyeye çıkıyor, güç 614 W'a yükseliyor. Hâlâ gayet iyi yorumu abartı değil; 32 kat kullanıcıya karşılık hızın üçte ikisini korumak güçlü bir tablo.

64 kullanıcıda kişi başı 48 öbek, toplam 3.000 öbek/saniye görülüyor; güç 700 W'a dayanıyor. Videoyu çeken mühendisin tatlı nokta dediği yer de burası ve katılıyorum: 48 öbek/saniye akıcı bir sohbet hissi için fazlasıyla yeterli. Güç eğrisine dikkat: kullanıcı sayısı arttıkça her kartın çektiği güç adım adım yükseliyor, 596'dan 700'e gelen çizgi bunun kanıtı.

128 kullanıcıda kişi başı 38 öbek ölçülüyor; hâlâ kullanılabilir sınırın içinde. 256 kişilik denemede ise kartlar doygunluğa ulaşıyor ve videonun altını çizdiği metrik sahneye çıkıyor: P95 gecikme, yani sunucunun kaç kişiyi aynı anda taşıyabileceğinin gerçek eşiği. Sonuç cümlesi net: 8 B300'lü bu kutu, tek kişinin değil, onlarca kişinin aynı modele yüklendiği senaryonun makinesi. Yapılandırılabilir CPU ve bellek seçenekleri satıcının sayfasında listeleniyor.