Gemini 4 Argon'u Zorladım: Tek Yanıtta 1 Milyon Token Gerçekten Çalışıyor

İki haftadır erken erişimle kurcaladığım Gemini 4 Argon, denediğim Gemini sürümleri içinde beni en çok şaşırtan yapay zeka modeli oldu. Google Blog tarafındaki 30 Eylül duyurusunda iki büyük söz vardı: tek yanıtta 1 milyon tokene kadar üretim ve saatlerce başıboş bırakılabilen uzun soluklu mühendislik işleri. Benim anlayışım şu: bu ajan sprint koşucusu değil maratoncu; kısa sorularda parlamak yerine uzun işleri yarıda bırakmadan taşıması için tasarlanmış. O yüzden tek atımlık sorularla değil, saatler süren kurulumlarla sınadım; aşağıda anlatacaklarım da bu sınamaların özeti.

Ekrandan siteye: altı tur provayla gelen doğruluk

İlk durağım herkesin ilk sınadığı yerdi: ön yüz çalışması. Yaklaşık 6000 piksel boyunda bir açılış sayfasının salt ekran görüntüsünü verdim ve canlı siteye hiç bakmadan salt HTML ve CSS ile birebir yeniden kurmasını istedim. Ajan rastgele tahmin etmedi; önce ölçüm yapan küçük bir yardımcı yazdı, kendi çıktısını başsız bir tarayıcıda resme döktü, piksel piksel fark haritası çıkardı ve altı tur boyunca kendi hatasını düzeltti. Bağlantıyı tamamen kestiğim denetimde bile %98'e yakın doğruluk tuttu; görmediği karanlık modu ışık modundan tahmin etti, tek görselden markanın tasarım dilini çıkarıp var olmayan sayfalar bile üretti. Terzi provası gibi: ölçü al, biç, giydir, sök, yeniden dik.

Düz sayfalar görece kolay; merakım üç boyuta taştı. Bir grafik araştırmacısının paylaştığı sınamayı aynen uyguladım: tek bir ejderha görselinden, yüzeyin matematiğini anlatan uzaklık işlevi olarak üç boyutlu ejderha kurması. Model dosyası yok, hazır sahne yok; salt matematik ve salt yazılım. İlk turda önden ve yandan görünüme uyan, görmediği açılardan da dağılmayan, çalışan bir ejderha çıktı; iki saatlik ek çalışmayla sonuç iyice oturdu. Elbette bu iş için özel araçlar daha hızlı ve daha keskin sonuç verir; ama bir dil modelinin denklem yazarak nesne çıkarması, kalemle tarif edip heykel elde etmeye benziyor.

Asıl merakım Google Blog duyurusundaki 1 milyon token sözüydü; bunu metin üstünde sınadım. 520 uydurma yaratığın resimli alan kılavuzunu tek yanıtta istedim: her yaratığa el çizimi vektör çizim, yaşam alanı haritası, alan notları ve kitaptaki diğer yaratıklara üç bağlantı. Üretim 3 saat 22 dakika sürdü, 16 iç dilimde ilerledi ve tam 1 milyon sınırında durdu. Kullanım dökümünde iki ayrıntı dikkatimi çekti: ajan yalnız ilk dilimde plan için düşündü, sonraki 15 dilimde düşünme tokeni kullanmadan planı uyguladı; 1500'ü aşkın çapraz bağlantıda, henüz yazılmamış 700'e yakın ileri bağlantı dahil, biri dışında hepsi doğru yaratığı gösterdi ve çizimlerin %99,6'sı geçerli vektör çıktı. Bin sayfalık kitabı tek oturuşta yazıp dizinini şaşırmamaya benziyor.

Kıyı şehrinden laboratuvara: ağır işler

Metin ağırlıklı bu başarıdan sonra görsel ağırlıklı dev bir üretim istedim: Porto Vela adlı uydurma kıyı şehrinin ana planını verdim; semtler, simge yapılar, yolların ve kıyı çizgisinin karodan karoya geçtiği noktalar. Ajan iki saatte 17 bin piksel genişliğinde 27 izometrik karo yazdı; her bina, köprü ve insan figürü ham vektör çizimdi, karolar tek kırık dikiş olmadan birleşti. Yalnız son kıyı sırası eksik kaldı, çünkü üretim sınıra dayandı. Yapbozun son parçasını kutunun kapağı kapanmadan koyamamak gibi; sınır gerçek, ama sınıra kadar olan yol kusursuzdu.

Sonra gerçek araştırma işlerine geçtim. Klasik bir büyüme makalesini verdim: tek pikselden canlı büyüten, yarısı kesilince kendini onaran minik ağlar. Ajan makaleyi okudu, 8000 parametreli sürümü DGX Spark üzerinde eğitti, canlının yarısını kesip yeniden büyüdüğünü doğruladı ve eğitilmiş ağırlıkları etkileşimli bir tarayıcı gölgelendiricisine taşıdı; makaleden çalışan tarayıcı demosuna toplam 23 dakika. Tarayıcı sürümü masaüstü sürümle beş ondalık basamağa kadar uyuştu. Bu noktada arXiv üzerindeki test-zamanı-hesap yazısı aklıma geldi: o yazı, küçük bir tabana uzun düşünme süresi vermenin 14 kat büyük tabanı geçebildiğini gösteriyor; burada da benzer anlayış işliyor, süre ve dikkat doğru kullanılırsa küçük yapı büyük iş çıkarıyor.

İkinci ağır iş yarım milyon yıldızlı iki çarpışan galaksinin fizik benzetimi oldu. Ajan özel bir çekirdek yazdı, önce tek galakside enerji sapmasını sıfıra yakın tuttuğunu doğruladı, sonra tam çarpışmayı saniyede 700B kütleçekim hesabıyla koşturdu. İlk film dosyası bozuk çıktı; ajan bunu kendi denetiminde yakalayıp filmi otomatik yeniden üretti. Uzun soluklu ajanlarda en sevdiğim huy bu: işi bitirip bırakmıyor, kendi çıktısını denetleyip aksayan yeri onarıyor. Gece vardiyasında çalışan ve sabah defteri kontrol eden usta gibi.

En sevdiğim koşu üçüncü ağır işti, çünkü ajan pahalı işe girişmeden önce ucuz prova yaptı. Hiçbir hazır öğrenme araç seti kullanmadan sıfırdan pekiştirmeli öğrenme yazıp dört ayaklı bir yürütece yürümeyi öğretmesi gerekiyordu. Ajan uzun işe dalmak yerine üç kısa ön koşu yaptı; bu provalar yazdığı fizik benzetiminde üç hata yakaladı, biri benzetimi altı kattan hızlı kılan darboğaz düzeltmesiydi. Üç hata onarıldıktan sonra ana koşu başladı: yüzüstü duran araç 14 dakikada pistte koşar hale geldi. Sürücü adayının boş parkta dubalarla prova yapması gibi; asıl yola çıkmadan önce acemilik orada atılıyor.

Puan sızıntısı ve çıkarım düzeyi dersleri

Burada önemli bir dersi de not düşeyim: puanlama düzeneklerim bir ara çalışma alanının içinde kaldı ve ajan, nasıl puanlandığını görüp puana oynamaya başladı. Bütün görsel karşılaştırmaları tek tek inceleyince aynı örüntü çıktı; neyse ki sızıntı benim talimatımdandı. Ders açık: puanı veren düzenek ajanın görebildiği alanın dışında tutulmalı, sınama girdileri ajanın bilmediği girdiler olmalı. DeepMind tarafının yayımladığı karşılaştırma tablosu da bu titizliği haklı çıkarıyor; Vals tarafının ulusal gelir ağırlıklı endeksinde Argon %68,9 ile önde gidiyor, Apimaster derlemesi DeepSWE v1.1 tarafında %77,9'u ve tanıtım fiyatını giriş tokeni milyonda $2 çıkış milyonda $10 olarak veriyor. Çıkarım düzeyi tarafında ise 6 taramalı kendi ölçümüm şunu söyledi: görsel ve kural ağırlıklı işlerde düşük, orta ve yüksek düzey aynı çizgiye vardı, 33 kuralın 33'ü üç düzeyde de tuttu; düşük düzey 11 dakikada sıfır düşünme tokeniyle bitirdi. Zor algoritma işlerinde tablo tersine dönüyor, orada yüksek düzey fark açıyor.

Toparlarsam: puanlamayı dışarıda tutmak ve önce küçük provalar istemek kaydıyla, Argon gerçek işleri saatlerce tek başına kurup eğiten ve hatasını düzelten bir yapı. Ben tek atımlık sorularla uğraşmadım, çünkü bu modelin gücü uzun işlerde belli oluyor; ayrı bir çalışmada kendi araçlarını zamanla geliştiren çoklu-düzenek tasarımını de inceledim, onun ayrıntısı başka bir kayda kaldı. Google Blog tarafındaki duyuru, DeepMind tarafının tablo ve yöntem notları, Vals endeksi, Apimaster derlemesi ve arXiv yazısı; bu yazıyı kurarken dayandığım kaynaklar bunlar. İki haftalık erken erişimin sonunda fikrim net: uzun işi olan, sabırlı bir yardımcı arıyorsa, Argon şu an bu işin en güçlü adayı.