Haftanın Yapay Zeka Makaleleri: Ajanlarda Harness Dönemi

DAIR.AI ekibinin x.com üzerinde yayımladığı haftalık derleme, yapay zekâ gündeminin yönünü tek cümleyle özetliyor: yarış artık daha büyük modelde değil, modelin etrafındaki programda. Listede on çalışma var ve yedisi doğrudan harness denen bu katmanı konu alıyor; yani model çağrılarını, araç kullanımını ve bilgi akışını düzenleyen yazılımı. Derlemedeki tam metinlerin çoğu arXiv üzerinde herkese açık duruyor, bu da her iddiayı kaynağından okuma imkânı veriyor. Bu yazı, o on çalışmayı herkesin anlayacağı dille tek tek açıyor.

Programı eğitmek, modeli büyütmekten ucuza geliyor

Listenin ilk sırasında CMU imzalı Harness Learning var ve fikri şaşırtıcı derecede sade: çözen model sabit tutuluyor, onun yerine harness denen çevre programı revize ediliyor. Küçük bir düzenleyici model, çalıştırma raporunu okuyup harness üzerinde program değişikliği öneriyor; öneri, pekiştirmeli öğrenmeyle ve düzeltilmiş harnessin görev skoruyla eğitiliyor. Sonuç iddialı: 4B büyüklüğündeki düzenleyici, tek adımlı düzeltmede 35B büyüklüğündeki öğretmenini geçiyor. Daha da önemlisi bu beceri transfer oluyor; bir soru setinde öğrenen düzenleyici, hiç görmediği setlerde de harness iyileştirmeye devam ediyor.

İkinci çalışma, Microsoft ve ortaklarından CorpusMap ve kurumsal aramanın kanayan yarasına parmak basıyor: ajanlar her sorguda belge bağlantılarını yeniden keşfediyor. CorpusMap bu işi sorgudan önceye taşıyor; koleksiyonda tekrar eden her varlığa bir sayfa açıyor, o varlığın geçtiği her belgeye bağlantı veriyor. Orijinal belgeler yerinden oynamıyor, harita sorgular arasında paylaşılıyor. Yedi model ve üç kurumsal sette cevap kalitesi 6,4 ile 11,7 puan artarken girdi tokeni yüzde 34 ile 57 azalıyor. Haritanın dil modeli çağrısı olmadan kurulabilmesi ve yeni belgeyle güncellenebilmesi, onu gerçek kurulumlar için pratik kılıyor.

Uzlaşmaya değil kanıta güven

Google imzalı VeriHarness, uzun soluklu ajan işlerinde yaygın bir alışkanlığı sorguluyor: birkaç çalıştırmayı örnekleyip çoğunluğa güvenmek. Yazarlara göre uzlaşma ortak hatayı gizleyebiliyor, görüş ayrılığı ise çoğu zaman doğru alternatife işaret ediyor. Çözüm, üreten modelin aynısını kanıt araçlarıyla donatıp doğrulayıcıya dönüştürmek: bir rol rakip iddiaları ortam kanıtıyla sınıyor, diğer rol herkesin hemfikir olduğu iddiaları yokluyor. Beş çalışma alanında en yüksek seçki skoruna ulaşan yöntem, tek çalıştırmaya göre iki öncü modelde de 6 puandan fazla kazandırıyor. 26 bine yakın çalıştırmanın veri seti olarak açılması, projenin sitesi VeriHarness üzerinden duyuruldu; çalışmanın HuggingFace kaydı da tartışmayı büyüttü.

Dördüncü durak HERMES ve yazılım mühendisliğine bakışı değiştiriyor: depodaki her bileşene, kendi işini bilen yerleşik bir dil modeli veriliyor. Dev-Primitive denen bu birimler doğal dille muhakeme edip birbirleriyle konuşuyor ve kendi parçalarını yerinde değiştiriyor. Hangi birimlerin uyandırılacağına bağımlılıklara bakarak karar veriliyor, test hataları da ilgili birime geri izleniyor. Bütün depo göçü görevinde aynı modelin skoru yüzde 6,5'tan yüzde 31'e fırlıyor; dört yazılım görevinde ortalama kazanç 12,4 puan. Güçlü yönlendirme ile 8B bileşenler, amiral modelin 4,5 puan yakınında kalıp maliyeti dörtte birden fazla düşürüyor.

Tek model, üç rol: kendi kendini eğiten ekip

Sakana AI imzalı MASS, dış denetleyicisi olmayan görevlerde öz iyileşmeyi deniyor: tek bir taban model, ekip üyesi, değerlendirici ve iyileştirici rollerini aynı anda üstleniyor. Model önce çok ajanlı çalışma planları önerip çalıştırıyor, kendi puanlamasıyla en iyisini seçiyor; sonra o ekibin izleriyle kendini ince ayarlıyor ve döngü başa sarıyor. İki döngü sonunda token başına performans dört açık uçlu alanda 1,2 ile 1,6 kat artıyor. Ekip izleriyle yetişen öğrenci, 1,4 kat fazla iz gören tek ajanlı öğrenciyi geçiyor. Çalışmanın programı GitHub üzerinde paylaşıldı; Sakana ekibinin proje sayfası yöntemi adım adım anlatıyor.

Meta ekibinin Sharpening Tax çalışması, pekiştirmeli ince ayarın gizli faturasını kesiyor: tek atışlık skor artarken çözüm kapsamı daralıyor. Hafif bir çevre programıyla donatılmış ham modeller, şaşırtıcı biçimde güçlü ajanlar; ince ayarlı sürümler tek denemede kazanıyor ama çok denemede ham modelin çözdüğü görevlere ulaşamıyor. 42 model çifti ve üç ajan görevinde vergi çoğu düzende görülüyor ve model büyüdükçe büyüyor. Önerilen çözüm, örnekleme sıcaklığını görevin zorluğuna göre ayarlayan PTGS; hem tek atışı hem kapsamı iyileştiriyor. DAIR akademi sayfası bu çalışmayı örnekli özetiyle listeliyor.

NVIDIA imzalı VERA, uzun soluklu ajan eğitiminin ortam sorununu çözüyor: çoğu ortam yalnızca finali puanlıyor, oysa eğitim için her aşamada duraklatılıp kanıtla puanlanabilen alanlar gerek. Yöntem, hazır çalıştırma izlerini alıp her birini kural ve çalıştırılabilir denetimlerle bir kum havuzuna çeviriyor; yargıçtan geçen 9 binden fazla alan eğitim bankasına giriyor. Eğitim, model ağırlıkları ile harness becerilerini dönüşümlü güncelliyor. 9B ölçeğinde en güçlü tek eksenli tabanı iki alanda 10 puandan fazla geçiyor; 27B ölçeğinde skorlar 71,6 ve 80,7'ye ulaşıyor. Tam metin arXiv üzerinde yayında.

Öğrenmenin verimini ölçmek

Meta, Berkeley ve Princeton ortaklığındaki Agent Plasticity, doğru soruyu soruyor: en yüksek skoru alan model mi, deneyimi en verimli paraya çeviren mi? Ölçüm, ağırlıklar sabitken ve her tur sıfır bağlamla başlarken, önceki turların yazdığı notlarla tutulan kazancı maliyete bölüyor. Satranç, Go ve Hex oyunlarında bir model finale koşarken bir başkası birim maliyet başına daha çok öğreniyor; bir sızma oyununda ise tek bir model dört haneli bütçeyle 66 puan sıçrıyor. Yavaş öğrenenlerin yazdıkları notları yeniden kullanmadığı görülüyor. Proje sayfası GitHub üzerinde yayında.

Sakana AI ekibinin Continuous Memory Machines çalışması, tekrarlayan modellere iki ayrı hafıza veriyor: güncel etkinliği izleyen kısa vadeli ve ileride lazım olacak bilgiyi tutan uzun vadeli. Dikkat tabanlı bir okuyucu her adımda ikisini de okuyup yazıyor. Kopyalama, çağrışımlı hatırlama, sıralama ve labirent görevlerinde LSTM, DNC ve RMC gibi öncüller geçiliyor; daha uzun girdilere genelleme korunuyor. Dikkat haritaları, modelin algoritmik işlerde uzun vadeli hafızayı kullandığını, gerekmeyen işte atladığını gösteriyor. Sakana ekibinin bulgusu, kısa ile uzunu tek vektöre sıkıştırmanın artık yetmediğini söylüyor.

Listenin kapanışı MIMESIS ve eğitimin unutulan yarısına bakıyor: kullanıcı. Hazır asistan modelleri kullanıcı rolünde fazla işbirlikçi davranıyor; sabit bir ajan, bu sahte kullanıcılarla gerçek insanlardan daha kolay skor alıyor. MIMESIS, gerçek insan konuşmalarından ve 13 davranış kalıbından öğrenen 9B bir kullanıcı benzetimi; davranış sadakatinde en güçlü öncü modeli 13,4 puan geçiyor. Bu benzetim dondurulup ajan ona karşı eğitilince, dokuz yeni kullanıcı tipinin hepsinde daha iyi genelleme görülüyor. Benzetimin özel muhakemesini token düzeyinde geribildirime çeviren ek adım, kazancı büyütüyor. Tam metin arXiv üzerinde açık.