Ajan Yapay Zeka Mutfağı: Eski Cetvel Neden Yetmiyor

Ben bu kayda bakınca ilk farkı hemen gördüm: normal sohbet metronom gibi işliyor, ben soruyorum yapay zeka modeli yanıtlıyor, sıra hep aynı. Oysa ajan işi mutfak gibi; model düşünüyor, araç çağırıyor, sonuç gelince planı değiştiriyor, sonra bir tur daha yapıyor. Tek prompt ile tek yanıt dönemi bitmiş, artık ortada büyüyen bir iş var, akan token sayısı da bu yüzden katlanıyor.

Beni en çok şaşırtan sayı 15 kat oldu. OpenRouter 100T token üstünden bakmış, tek ajan isteği normal sohbete göre yaklaşık 15 kat token yakıyor. Ben bunu şöyle anladım: normal iş düz bir alan gibi, ajan işi ise derinliği olan bir kutu; hacim bir anda büyüyor. Üstelik ajan yalnız çalışmıyor, ana ajan planı tutup alt ajanlara iş veriyor. Gerçek bir yazılım oturumunda bağlam 60 binden 400 bine çıkmış, çünkü her tur geçmişi önüne katıp ilerliyor. Burada yapay zeka modeli artık cümle kurmuyor, iş taşıyor; token ve model yükü de tam bu yüzden şişiyor.

Neden eski ölçüm yetmiyor

Eski ölçüm bana dar bir cetvel gibi geldi. 8 bin girdi, bin çıktı verip saniyedeki token sayısına bakmak tek turu anlatıyor, ajan işini anlatmıyor. Yeni ölçüm gerçek yazılım oturumlarını aynen tekrar oynatıyor, yaklaşık 99 bin model isteğiyle. Girdi boyu değişiyor, çıktı boyu değişiyor, araç çağrısı arası boşluklar bile korunuyor. Çünkü ajan beklerken bile bağlam hafızada duruyor, önbellek dolu kalıyor. Her sisteme aynı kayıt veriliyor, fark işlemci tarafı ve sunum katmanından geliyor. Benim gözümde bu dürüst bir sınav; yapay zeka ajanının gerçek yükünü masada gösteriyor, model ve token akışı saklanmıyor.

Ben olaya tesis gözüyle bakıyorum: sabit güçten ne kadar yararlı ajan işi çıkıyor, asıl soru bu. Güç başına verim tek başına yetmez, çünkü hızlı görünüp kullanıcıyı bekleten kurulum işe yaramaz. Etkileşim hızı, uçtan uca gecikme ve ilk yanıt süresi kullanıcının gördüğü yüz. Eşzamanlılık artınca her ajan yavaşlıyor, az ajanla çalışınca makineler boş duruyor. En iyi kurulum ham güç rekoru kıran değil, aynı güçte hem verimli hem canlı kalan. Burada yapay zeka işi için token akışı, model yanıtı ve ajan temposu birlikte okunuyor; ben de tabloya böyle bakıyorum.

Kazanç nereden geliyor

Kazanç tek bir yonga numarasından gelmiyor, ben bunu orkestra gibi görüyorum. NVLink 72 grafik işlemciyi tek hızlı alan yapıyor, çok uzmanlı dev modeller tek makine gibi çalışıyor. Dynamo önden hesap ile üretim işini ayırıp ayrı büyütüyor, yeni turu önbelleği hazır olan çalışana yolluyor; böylece bağlam yeniden hesaplanmıyor. TensorRT-LLM tarafı NVFP4 duyarlığı ve geniş uzman paralelliğiyle binlerce ajan aynı anda koşarken çekirdekleri dolu tutuyor. Nvidia günlüğünde yazan bu tasarım SemiAnalysis ölçümünde de görünüyor; yapay zeka modeli için token yolu kısalıyor, ajan beklemesi azalıyor.

Sayıları ben yan yana koyunca tablo netleşti. GB300 NVL72, DeepSeek V4 Pro işinde H200 NVL8 tarafına göre güç başına 15 kata kadar fazla iş çıkarıyor, milyon token başına gider 10 kata kadar düşüyor. Vera Rubin NVL72 aynı işte GB300 tarafına göre 160 etkileşim hızında 30 kata kadar güç başına verim veriyor. Büyük tarafta fark açılıyor: 2,8T parametreli Kimi K3 işinde GB300 tarafı H200 tarafına göre 80 kata kadar güç başına verim yakalıyor, etkileşim 215 seviyesine çıkıyor; eski taraf bu hıza hiç ulaşamıyor. CloudNews özetinde de geçen bu sonuçlar Nvidia ölçümü, SemiAnalysis incelemesi bekleniyor; yapay zeka ajanları için güç başına token artık ana ölçü gibi duruyor.

Benim çıkardığım ders basit: ajanlar artık istisna değil, asıl iş yükü. Onlara iyi bakmak tek parça işi değil, bütün sistem işi. Ben olsam önce bağlam taşıyan işleri ayırır, önbellek dostu yönlendirme kurar, güç başına verim ile etkileşimi birlikte izlerdim. Yeni başlayan biri için Nvidia kullanım kılavuzu ve SemiAnalysis sayfası iyi bir başlangıç; CloudNews özeti de sayıları sade tutuyor. Yapay zeka tarafında ajan, model ve token üçlüsünü birlikte düşününce tablo yerine oturuyor; ben bu tasarımı mutfak düzeni gibi kurardım: araçlar yanı başında, tezgah boş değil, sıra kimseyi bekletmiyor.