Az Bilgi Çok İş: Yapay Zeka Yardımcısının Penceresini Sade Tutmak

Eskiden birkaç bin token alan pencere bugün bir milyon tokenı geçiyor; ben ilk duyduğumda sevinmiştim, çünkü geniş masa geniş iş demek gibi duruyor. Fakat 18 öncü modelle yapılan ölçüm tersini söylüyor: pencere büyüdükçe modelin her bir bilgiyi doğru kullanma güveni düşüyor. Ekipler bu duruma çürüme adını takmış; ölçümün ham verisi GitHub üzerinde açık duruyor. Bana kalırsa işin özü dikkat bütçesi denen şey: pencere kocaman olsa da modelin dikkati sınırlı, her yeni token bu bütçeden yiyor.

Konuyu elle tutulur yapayım: eski bir veri sürücüsünü yenisiyle değiştiren bir yapay zeka ajanı düşünelim. Pencerenin en başında ajanın genel talimatı durur, hemen arkasında iki satırlık iş tarifi gelir. Sonra projenin kendi notları eklenir, ardından ajanın çağırabileceği araçların tanımı dizilir. Buradan sonrası akan bir günlük gibidir: ajanın attığı her adımın kaydı ve araçlardan dönen sonuçlar üst üste yığılır. Bir saatlik çalışmanın sonunda bu yığın devleşir; dosya içerikleri, sınama çıktıları, hata kayıtları hepsi oradadır. Arada ajanın kendine yazdığı küçük bir not bile vardır: yeni sürücü kopan bağlantıyı kendi kendine tazeler, o yüzden eski yeniden deneme bölümünü silebilirsin.

İlk aksama zehirlenme denen şey: pencereye giren bir yanlış, gerçek muamelesi görüyor. Bizim örnekte ajanın kendi notu yanlıştı; sürücünün belgesini hızlı okuyup yanlış anlamış, yeniden deneme bölümünün gereksiz olduğu sonucuna varmıştı. Model için kendi notu en güvenilir kaynaktır, o yüzden dosya dosya gezip sağlam bölümleri silmeye başlıyor. Benzetmesi basit: tarif defterine yanlış yazılmış bir ölçü, her yemeği bozar. Çözüm de basit: doğrula. Not pencereye girmeden önce gerçek dünyada küçük bir bağlantı denemesi yapılsaydı, yanlış not daha doğmadan elenecekti.

İkinci aksama dağılma: geçmiş kaydı öyle büyüyor ki model işin kendisinden çok geçmişe bakmaya başlıyor. Dil modeli özünde kalıp sürdüren bir yapıdır; bir saatlik kendi adımları pencerede dururken en güçlü kalıp o oluyor, eğitimden gelen akıl yürütme geri plana düşüyor. Sonuç tanıdık: ajan eski topraklarda dolanıp aynı yerleri tekrar tekrar geziyor. Benim gözümde eski defterleri karıştırıp bugünün işini unutmak gibi. Çözüm: özetle. Geçmiş uzadıkça toparlayıp kısa bir özetle yola devam ediliyor, ayrıntı ise kalıcı dosyalarda tutulup yalnız gerektiğinde pencereye çağrılıyor.

Üçüncü aksama karışıklık ve suçlu araç kalabalığı: bizim ajan sürüm yönetiminden veri konsoluna, bilet yönetiminden başka işlere kadar bir sürü araca bağlı. Her aracın tanımı pencerede duruyor, kullanılmasa bile yer kaplıyor. Araç çok olunca doğru aracı bulmak zorlaşıyor; bir ölçümde aynı iş 46 araçla kalırken 19 araçla geçilmiş. Alet çantası benzetmesi cuk oturuyor: çanta ne kadar şişkinse doğru tornavida o kadar geç bulunuyor. Çözüm: derle. Taşıma işi için bir avuç araç yeterli; ajan yalnız işin gerektirdiği araçlarla başlıyor, başkasına gerekirse onu o an istiyor.

Dördüncü aksama çatışma: pencerenin içinde birbirini tutmayan iki bilgi yan yana duruyor. Ajan bir süre sonra yeniden denemelerin yapılmadığını görüp ilk notun yanlış olduğunu anlıyor ve bunu da geçmişe yazıyor. Şimdi pencerede iki sürüm var: biri yanlış, biri doğru, ikisi de aynı ağırlıkta duruyor. Mutfaktaki iki alışveriş listesi gibi; hangisi geçerli, belli değil. Çözüm: buda. Eski bilgi yenisi gelince siliniyor, hatta daha ileri gidip pencere taze bir özetle baştan açılıyor, bozuk içerik geride bırakılıyor.

Dört çözümün ortak yanını seviyorum: hepsi bir şeyleri eksiltiyor ve ajan daha az şey tutarak daha iyi iş çıkarıyor. Bu anlayış artık tek bir konuşmanın değil, koskoca bir alanın ortak aklı: Anthropic dikkat bütçesi düşüncesiyle az ve öz bilgiyi savunuyor. LangChain yaz, seç, sıkıştır, ayır diye dört yol öneriyor. IBM derleme ve sıkıştırma boru hatlarını anlatıyor. 18 modelin ölçümünü GitHub üzerinden herkes görebilir, arXiv üzerindeki geniş tarama ise 1400 çalışmayı tek çerçevede topluyor. Benim defterime yazdığım kural şu: pencereye her eklediğin bilgi, ajan için bir yük; o yüzden gerekli olanı koy, gerisini dışarıda bırak.