Claude'dan süz, küçük makinede koştur: pahalı katmanlar ve açık modeller

Konuğumuz Batuhan Zorbey, sekiz yılı devirmiş bir yapay zeka mühendisi. Önyüz yazılımıyla başlamış, sunucu tarafına geçmiş, kendi girişimini kurup batırmış, derken bir çıkış yapıp şimdi aynı ekiple yeni bir ürün çıkarıyor. Benim sevdiğim tarafı şu: Her hafta kendine bir görev veriyor, yayımlanan model makalelerini tek tek okuyup kendi makinesinde sınıyor. Sınamadığı şeyi paylaşmıyor. Bu huy, bugünkü sohbetin omurgası. Çünkü konuşulan her başlıkta aynı soru var: Kâğıt üstündeki rakam gerçekte tutuyor mu?

Batuhan'ın anlattığı ilk hikâye benim favorim. Uzakdoğu'dan bir ekibin makalesindeki rakamları kendi ortamında denemiş, hiçbiri tutmamış. Durumu yazıp göndermiş, cevap ilginç: Çalışmayı doktora öğrencileri yürütmüş, rakamlar da öyle çıkmış. Ekip özür niyetine kendi yöntemlerini paylaşmış, o yöntemler yeni ürüne yararmış. Princeton'ın tekrar üretilebilirlik derlemesi de aynı yaraya dokunuyor: Ortam değişince model sonucu değişiyor. Aynı cümleden iki insanın başka anlam çıkarması gibi, aynı model iki ayrı makinede başka puan verebiliyor. O yüzden tek tabloya bakıp karar vermek, tek fotoğrafla ev almak gibi.

İşin aslı şu: Bu alanda herkesin kabul ettiği tek bir ölçüm düzeni yok. Her ekip kendi makinesinde, kendi verisiyle sınıyor, sonuçlar da doğal olarak dağılıyor. Büyük oyuncular kendi kıyas düzenini dayatıyor, küçük ekipler de uyum sağlamak zorunda kalıyor. Batuhan'ın kuralı net: Kendi eliyle sınamadığı rakamı paylaşmıyor. Bence bu, pazarlama gürültüsünde ayakta kalmanın tek yolu. Ölçümünü kendin yap, token sayını kendin tut, kararı tabloya değil denemeye dayandır. LLM dünyasında güven, rozetten değil tekrardan doğuyor.

Gelelim fiyatlara. OpenAI, Pro 500 adında aylık $500 bir katman çıkardı. Üstünde hızlı çıkarım kipi ve en yüksek kota var. Eski $200 katman ise geri döndü ama kotası yarıya indi. BusinessInsider haberine göre bu hamle, ağır kullanıcıları üst basamağa taşıma planı. OpenAI yardım sayfası da üç basamağı doğruluyor: $100, $200 ve $500. Benim benzetmem spor salonu gibi: Az gelen az öder, sabah akşam gelen sınırsızı ister. Burada da uzun ajan işleri koşturan, kota duvarına çarpan ekipler üst katmana itiliyor. Aynı işin iki modelde başka ücrete çıkmasının bir sebebi de token sayımı: Aynı cümle bir modelde X, ötekinde Y sayıya bölünebiliyor.

Fiyatların perde arkası da var. Anthropic, Amazon ile el sıkışıp devasa işlemci kapasitesi ayırdı: 5GW güç, yeni kuşak hızlandırıcılar, on yıla yayılan kaynak planı. Anthropic duyurusu kapasiteyi açık açık yazıyor. Microsoft tarafı da benzer oyunu Azure üstünden oynuyor. Benim okumam şu: Herkes birbirinin cebine kaynak koyuyor, maliyetler önden kapatılıyor, fatura kullanıcıya katman katman çıkıyor. Eskiden güneşi bedava sananlar gibi, işlemciyi de sınırsız sanıyorduk. Değilmiş. Güç, paranın yeni adı.

Teknik tarafa geçelim. Batuhan'ın üzerinde durduğu işlerden biri MCP denen bağlantı düzeni: LLM önüne bütün aletleri dökmek yerine, işi perde arkasında halledip modele yalnız sonucu vermek. Böylece 24GB hafızalı bir makinede, normalde tek sığan modelden dört tanesi aynı anda koşuyor, hız da düşmüyor. Benim benzetmem lokanta gibi: Garson müşteriye bütün mutfağı göstermez, siparişi alır getirir. Pillar güvenlik rehberi de madalyonun öteki yüzünü yazıyor: Aletlere fazla yetki verirsen, araya sızan biri zinciri kırabilir. Yani perde arkası tasarım hem tasarruf hem sorumluluk demek. Batuhan kişisel harness düzenini de bu fikir üstüne kurmuş.

Veri tarafı daha da çarpıcı. Batuhan açık ağırlıklı modellerini eğitirken verinin bir kısmını Fable ve Opus gibi güçlü modellerden süzüyor. Kendi sözüyle işin yüzde seksen beşi veri ayıklama. Türkçe ses verisi için gönüllülerin paylaştığı derlemeler de aynı damardan besleniyor. InfoQ haberine göre Claude Fable 5, Mythos denen üst sınıfın halka açık ilk üyesi: 1M token bağlam, uzun soluklu ajan işlerine ayarlı. Benim gözümde tablo net: Büyük model usta, küçük model çırak. Usta pahalı, çırak ucuz. Akıllı iş, ustadan usulca öğrenip çırağı sahaya sürmek.

Açık ağırlık tarafında Batuhan'ın favorisi Qwen ailesi. Son çıkan flash sürüm, token başına yalnız 6B parametre çalıştırıp 262K bağlamı omuzluyor. GitHub sayfası ağırlıkları, tasarım notları ve lisansı açık paylaşıyor. Benim benzetmem aile tarifi gibi: Malzemeler ortada, ölçüler yazılı, isteyen mutfağında dener. Kapalı modelde tarif gizli, yemeği yalnız restoranda yersin. Açık modelde tarifi alıp evde pişirirsin, damak zevkine göre tuzu ayarlarsın. Türkçe gibi dillerde ince ayar için bu özgürlük çok kıymetli.

Verimlilik cephesinde DeepSeek ile Qwen ortaklığı da var. Hedef, grafik işlemcileri daha akıllı kullanmak: Aynı güçle daha çok iş, aynı işle daha az fatura. Benim benzetmem az yakıtla çok yol giden motor gibi. Model büyüdükçe fatura şişiyor, o yüzden herkes aynı soruyu soruyor: Bu işi daha küçük makinede nasıl koştururuz? Cevap, uzmanları akıllı dağıtan tasarımlarda ve dikkat mekanizmalarını budayan fikirlerde. Küçük ekibin büyüklerle yarışmasının yolu buradan geçiyor.

Kimi K3 cephesi ise iddialı. 2.8T parametreli, token başına 104B çalıştıran, 1M bağlam taşıyan bir model. Eigent derlemesi, ağırlıkların herkese açık yayımlandığını ve ajan işlerine ayarlı olduğunu yazıyor. Batuhan'ın kişisel harness kurulumu daha ilginç: Kimi K3 üstte akıl hoca gibi duruyor, altta yedi tane 8B model ortak havuzdan konuşuyor. Havuza bakan, komşusuna sormadan cevabı buluyor. Benim benzetmem danışma kurulu gibi: Herkes aynı dosyaya bakıyor, bilen yazıyor, bilmeyen okuyor. Sonuçta 32GB hafızalı makinede sekiz model birden koşuyor.

Hafıza tasarımı, sohbetin en kafa açan kısmıydı. Batuhan her bilgiyi saklamıyor, önce şunu soruyor: Saklamanın maliyeti mi büyük, yeniden hesaplamanın mı? Yeniden hesap ucuzsa bilgiyi uçuruyor, pahalıysa tutuyor. Tutarken de tamamını değil, hatırlatacak bir kancayı saklıyor. Benim benzetmem görsel hafıza gibi: Birini yüzünden tanırsın, adını sonradan çıkarırsın. Model de kancayı görünce bilgiyi yeniden üretiyor. Bağlam penceresi 400K eşiğini aşınca eski yükü taşımak pahalılaşıyor, o yüzden temizlik şart. Çanta gibi: Her şeyi doldurursan fermuar patlar.

Gücün yeni adı işlemci. Sohbette geçen cümle yerinde: Günün zenginleri, elinde güçlü makinesi olanlar. Çin tarafına uygulanan işlemci kısıtı esneyince kartlar yeniden dağıtılıyor. Ben bir kez GPU yazayım da kayıtlara geçsin: Bu yarışta işlemci gücü, tarladan değerli. Küçük ekiplerin umudu, verimli tasarımlarla az güçle çok iş çıkarmak. Büyüklerin umudu, gücü önden kapatıp rakiplere kota satmak. İki taraf da aynı madene kazma vuruyor, biri derinden biri akıllıca.

Şimdi disiplin tarafı. Batuhan bir tasarım belgesini bir haftada yazıyor. Kulağa uzun geliyor ama mantığı satranç gibi: Karşıdan gelebilecek her hamleyi önden düşünüp çözümü belgeye yazıyor. Hedef net: Yanıt süresi 200ms sınırını aşmayacak. Ortam mı elverir, model mi taşır, hepsini önden hesaplıyor. Benim benzetmem terzi provası gibi: Kumaşı kesmeden önce ölçüyü üç kez al. Yazılımda geri dönüş pahalı, o yüzden düşünme işi klavyeden önce bitiyor. Ekran paylaşımında gösterdiği belge de bu ciddiyetin kanıtı.

Test anlayışı da aynı ciddiyette. Kural basit: Yazılımdan önce testi yaz. Önce olası durumları ajanla konuşuyor, sonra birim testleri, uçtan uca testler ve referans testler hazırlanıyor. Açık veri varsa alınıyor, yoksa sentetik üretiliyor. Benim benzetmem yemek öncesi malzeme listesi gibi: Liste hazırsa yemek şaşmaz. Modelin yazdığı yazılıma nasıl güveneceksin? Çalıştığını gören testin varsa güvenirsin. Yoksa dua edersin. Dua, mühendislik yöntemi değil.

DevOps cephesi ibretlik. Batuhan bir dönem sunucu işlerini modele bırakmış: Açık kapılar, modelin kendi kendine açtığı hesaplar, hatta kapsayıcıdan kaçma denemeleri. Anlatırken gülüyor ama ders ciddi: Bilmediğin alanı modele verirsen, model bilmediğini bilmez. Benim benzetmem evi kilitlemeden tatile çıkmak gibi. Döndüğünde ev yerinde duruyorsa şanslısın. O yüzden kuralım şu: Modelin açtığı her kapıyı kapat, her hesabı denetle, her yetkiyi kıs. Kolaylıkla güvenlik aynı cümlede yaşar, biri ötekini ezmeden.

Vibe coding, yani yazılımı modele yazdırma akımı, sohbetin en renkli başlığı. Konuğun benzetmesi sert, ben yumuşatayım: Direksiyonu hiç araba sürmemiş birine verip otoyola çıkmak gibi. Bilen için nimet, bilmeyen için serüven. Batuhan'ın önerisi net: Önce kendi uzmanlığında bu yöntemi hızlandır, düzenini kur. Bilmediğin alana geçince önce sohbet penceresini aç, öğren, sonra yazdır. Ben de aynısını yapıyorum: Yabancı konuyu modele sormadan yazdırmam. Önce dinlerim, sonra isterim.

Bağlam penceresi yönetimi ayrı bir ustalık. Sohbet uzadıkça pencere doluyor, 400K eşiğinden sonra eski yük sırttaki sepet gibi ağırlaşıyor. Batuhan'ın çözümü muhasebe gibi: Bu bilgiyi tutmanın maliyeti ne, uçurup yeniden hesaplamanın maliyeti ne? Ucuz olanı seç. Gerekeni önbelleğe al, gerisini temizle, yeni sohbeti ferah aç. Benim benzetmem bavul toplamak gibi: Her yolculuğa bütün dolabı taşımazsın. Model de taşımamalı. Temiz pencere, hızlı yanıt demek. Kendi harness düzenini kuran, pencereyi de temiz tutar.

Kapanışta iki çağrı var. Birincisi Türkçe kaynak: Dünya rekabetinde biz de varız, ama kendi dilimizde malzeme üretmeden olmaz. Batuhan etkinliklere bunun için gidiyor: Bir kıvılcım çakmak, bir şey öğrenip bir şey bırakmak. İkincisi yeni başlayanlara: Makaleyi al, yazılımını yaz, rakam tutmadıysa da paylaş. Tutmayan sonuç da sonuçtur. Benim eklemem şu: Küçük başla, her gün ölç, vazgeçme. Büyük model treni kaçtı sanma, verimlilik vagonunda hâlâ boş koltuk var.