Gündeme dön

Google Harness² Aynı Modeli Eğitmeden Güçlendiriyor

Google Research, daha büyük bir model eğitmek yerine donmuş bir modelin çevresindeki kurulumu iyileştiren Harness² adlı ücretsiz çerçeveyi yayınladı. Tek iyileştirme turu ofis işlerinde 11,5 puana kadar artış getirdi ve dersler işten işe aktarılıyor. Bu yazı iki döngüyü, sekiz düzenlenebilir parçayı ve gerçek giderleri açıklıyor.

YouTube'da izle — jFvogJ9KGVw
Okuma/dinleme seçenekleri

Bu tarayıcıda cihazdan sesli okuma kullanılamıyor.

Kavram merceği

Bu görünümde geçen teknik kavramlardan birini seç. Genel tanımı, öğretici örneği ve haberdeki kullanımını birlikte oku.

Bu görünümde sözlüğümüzdeki kavramlardan biri bulunmadı. Sözlük henüz tüm terimleri kapsamıyor.

Bir yapay zeka ajanı aslında iki şeydir: akıl yürüten bir model ve onu donatan bir harness . Harness; komutları, uyulacak kuralları, başvurulacak hafızayı, çağrılacak araçları ve iş devredilecek yardımcı ajanları tutar. Google Research bu katmanı iyileştirmeye harnessing diyor ve tezi tek cümle: ajan eşittir model artı harness. Dağınık bir düzenekte parlayan bir model bile cılız iş çıkarır; aynı donmuş model farklı düzeneklerde bu yüzden bambaşka puanlar alır.

Ekipler bu düzeni genelde bir kez kurup her yeni işe aynen uyguluyor. Tasarımcının öngördüğü işlerde düzen işliyor; kimsenin önceden düşünmediği taze işler gelince verim düşüyor. Google buna açık dünya diyor: harness çizilirken akla gelmemiş işlerle karşılaşma hali. Videoda sözü geçen uygulayıcı da kendi çok ajanlı düzeninde aynı sancıyı anlatıyor; bozulan işte neredeyse hiç yeni model gerekmiyor, gereken hep onarılmış bir düzenek.

Önce Puanlar, Sonra Düzenek

Puanlar üç ayrı iş testinden geliyor: ofis, web ve yazılım işleri için WorkBuddy-Bench; uçtan uca meslek işleri için JobBench; hukuk ajanı testi LAB. GLM-5 ve Gemini 3.5 Flash ile dört model-düzenek bileşiminde tek iyileştirme turu WorkBuddy-Bench tarafında 11,5 puana, JobBench tarafında 4,5 puana, LAB tarafındaki kısmi geçme oranında 11,8 puana kadar artış yazdı. GitHub deposundaki README aynı manşet rakamları taşıyor; videodaki sayılar birincil yazılım kaynağıyla birebir tutuyor.

Sonucu çarpıcı yapan, yukarıdaki artışların tamamının tek turdan gelmesi ve model ağırlıklarının hiç değişmemesi. Kimse yeniden eğitim yapmadı, kimse yeni bir temel model için ödeme yapmadı; değişen yalnız çevredeki dosyalar oldu. arXiv üzerindeki makale, bütçe büyüdükçe artışların sürdüğünü, k değeri beşe kadar koşut çalışmalarda her testte birkaç puan daha eklendiğini yazıyor. Bu örüntü önemli; çünkü düzenek işini söylentiden çıkarıp ölçülebilir bir verim eksenine taşıyor. Ölçüm tarafında arXiv kaydı birincil dayanak olarak duruyor.

Üç Fiil ve Sekiz Dosya

Her iş, karşılaştırmalı bir döngüden geçiyor; üç fiili var: öner, sına, birleştir. Düzenek editörü iki aday düzenek yazar; biri planlama ve araç kullanımı gibi genel zayıflıklara, öteki o alanın işlerine dönüktür. İki aday aynı işi eş koşullarda dener, birleştirici yalnız davranış farkının desteklediği değişiklikleri tutar. Doğru yanıt anahtarı yok; AI Primer anlatımı varsayılan bütçede iş başına dört koşum sayıyor: taban, iki aday ve birleştirilmiş sonuç.

Düzenlenebilir yüzey sekiz dosyadan oluşuyor: ana komutlar, sert sınırları çizen korkuluk kuralları, ajanın başvurduğu hafıza, araç kullanımı kılavuzu, iş devri alan yardımcı ajanlar, çağrılabilen beceri paketleri ve hazır yordamlar ile her adımı izleyen ara katman. İlk dördü ajanın işe ne bilerek başladığını, sonraki ikisi araçları nasıl kullanıp işi nasıl paylaştığını, sonuncusu her adımın içinde ne olduğunu yönetiyor. Güncel ajan araçları kullananlar aynı yapı taşlarını farklı adlarla tanıyacaktır.

Yukarıdakilerin tamamı tek işin içinde olur; yazarlar buna iş düzeyi özyineleme diyor. Üstünde ikinci bir döngü var: döngü üstü özyineleme. Her işin ardından deneyim yansıtıcı, benimsenen düzeni ve tutan dersleri ayıklar. Dersler kalıcı bir iyileştirme kitaplığına, kendini geliştirme üzerine bir deftere yazılır; sonraki iş öneriye geçmeden bu defteri okur. Yalnız kanıtlı dersler saklanır, defter tahminlerle değil tutmuş hamlelerle dolar. AgentGid incelemesi aynı ayrımı vurguluyor; manşet rakamların arkasındaki editörün yürütücü ajanlardan güçlü Claude Opus 4.8 olduğunu not ediyor.

Bütçe, Sınır ve Ders

Ek bütçe iki biçimde harcanabiliyor. Koşut özyineleme birkaç düzeneği aynı anda sınıyor ve öğrenilenlerden birleşik halefler kuruyor; geniş arama yapıyor. Sıralı özyineleme en iyi düzeneği alıp üst üste cilalıyor; derine iniyor. İki yönde de bütçe büyüdükçe verim artıyor. Yürütme tarafı bugün ekiplerin zaten kullandığı araçlarda koşuyor: varsayılan OpenCode, seçenek olarak Codex.

Dürüst giderler sonra geliyor. Her sınama, ajanın işi baştan sona bir kez koşması demek; altı düzen sınamak artı editör oturumları altı kat token ve koşum gideri demek. Bu yüzden resmi kılavuz küçük iş kümesiyle başlamayı öneriyor. Sürüm 0.1.0; Google'ın resmi destekli ürünü değil, tek tıkla çalışan uygulama da değil; Linux makine ve Python 3.12 istiyor. TheAIFeed haberi doğru soruyu soruyor: artış kanıtlanınca asıl soru yürütme bütçesi oluyor. Yürütücülerin ağ erişimi kısıtsız, Codex cephesi korunaksız koştuğundan test koşumları yalıtılmış alana ait.

Araçları bir kenara bırakınca taşınabilir ders duruyor: beyni suçlamadan önce düzeni düzelt. Komutlar, kurallar, hafıza yordamları ve beceri paketleri düz yazı; herkes değiştirebilir. Bu disiplin bugün hangi ajanı çalıştırıyorsan ona da yarıyor. Benim ölçüm böylesi çerçevelerde döngünün insansız büyüyüp büyümediği; kitaplık düzeneği tam da bunu vadediyor. Zayıf yürütücülerin en çok kazandığı tabloda ilk ödül en dağınık düzenekleri bekliyor; en güçlü modelleri değil.

Görsel: nodesdaily AI
DöngüNe değişir
Öner-sına-birleştirİki aday koşar, tutan değişiklikler tutulur
İyileştirme kitaplığıBenimsenen düzen ve kanıtlı dersler sonrakine yol gösterir
Tek tur artışıAğırlıklar donmuşken 11,5 puana kadar artış

Videodaki anahtar anlar

  1. Aynı model ücretsiz güçleniyor
  2. Tek düzen yeni işte aksıyor
  3. Topluluk iki haftada sahip çıkıyor
  4. Anahtarsız karşılaştırma
  5. Defter sonraki işi keskinleştiriyor

AI yorumu

"Benim okumam şu: ilerleme artık daha büyük beyinden değil, beynin çevresindeki daha derli toplu atölyeden geliyor. Her işin sonrakini keskinleştirmesi fikri beni ikna etti; kanıtlı ders defteri de kopyalayacağım ilk parça. Yapay zeka ajanları artık tek seferlik kurulumla değil, işledikçe öğrenen düzeneklerle anılacak."

AI değerlendirmesi

Karşıt görüş gider ve belirsizlikle başlıyor. Ek koşumlar token faturasını katlıyor, davranış karşılaştırması yürütmeler ilgisiz nedenlerle oynayınca ıskalayabiliyor; makalenin kendisi zayıf adayı tutan seçimleri belgeliyor. Bu yüzden iyileştirme turu başına gideri izlemek ve kabule insan koymak gerekir.

İkinci uyarı ölçüme dair. İyileştirme yanıt anahtarı istemiyor; ama yayımlanan puanlar rubriklere göre Claude dizgeleriyle verildi. Yani yargıçsız döngü, yargıçlarla doğrulanmış oluyor. Üretim önerisi öncesi ağdan yalıtılmış yürütücülerde, kendi gizli işlerinde bağımsız tekrar istiyorum.

Uygulamada çerçeveye dokunmadan başla. Ajanın komut dosyalarını aç, haftada bir muğlak kuralı sıkılaştır, hangi değişikliğin davranışı oynattığını yaz. Bu alışkanlık tutarsa kimliksiz deneme ortamı iki özyineleme kipini de çalıştırıyor; ucuz bir sonraki laboratuvar olur. Ölçü farklarını söz değil yön olarak oku.

Kurulum dürüstlüğü de şart. Modelli koşumlar Linux makine, Python 3.12, Node.js, Vertex AI projesi ve teste göre Docker ya da Pandoc istiyor; kimliksiz tanıtım koşumu ise bedava. Yazılım Apache 2.0 ile araştırma yazılımı olarak geliyor, sürüm 0.1.0; pürüz beklenir, yalıtım ilk günden planlanır.

Kaynaklar

6 bağlantı; bunları kullanan başka yayımlanmış haber yok. Aynı bağlantıyı paylaşan haberler birbirini doğrulamış sayılmaz; kaynağın kökeni bağlantı sayısından çıkarılmaz.

harness · donmuş model · ajan döngüsü

Konuyu takip et

Bu haberden önce

Aynı olayla editör tarafından ilişkilendirilmiş önceki haberlerden kısa bir okuma sırası.

Kanıt ve kaynaklar

Kaynak metnini, sürümünü ve köken bilgisini incele.

KAYNAKLARLA OKU

Bu haberi açalım.

Hesap kontrol ediliyor…