PhAI Labs öncülüğündeki bir ekip, 15 Eylül 2026 tarihli çalışmayla bilim insanlarının günlük işine giren bir çalışma alanı açtı: ScienceBuddy. GitHub üzerindeki ScienceBuddy kayıtları, 224 araçlık bir bilimsel alet çantasını 22 işlevsel kümeye bölüyor; gen biliminden molekül ve kanser biyolojisine, ilaç bilgisinden görüntü işlemeye, yazın taramasından veri tabanı sorgularına uzanıyor. Tez tek cümle: araştırmacıyla kurulan iş birliği, bir dahaki turda daha iyi çalışmaya dönüşmeli. Sohbette verilen bir yanıtı düzeltmek yetmez; çalışma yordamı da, yordamı koşan model de kalıcı iyileşmeli.
Fikir günlük dille şöyle: tek katlı evde hem oturur hem çalışırsın; iki katlı evde alt kat atölye, üst kat usta. İç döngü atölyeyi düzenler: model sabit durur, yordamlar elden geçer. Dış döngü ustayı yetiştirir: seçilmiş atölyede model pekiştirmeli öğrenmeyle güçlenir. Atölye değiştikçe ustanın işi değişir, usta güçlendikçe atölyenin düzeni yeniden ele alınır. arXiv üzerindeki teknik rapor, bu çift yönlü bağı çalışmanın kalbi sayıyor.
İçte yordam, dışta model: iç içe döngü
İç döngüde görev modeli sabit tutulur; ayrı ve sabit bir yardımcı model arızaları inceler, yönergelere, beceri paketlerine ya da bağlam ayarlarına sınırlı düzeltmeler önerir. Aday yalnız düzenleme sınırlarını sağlayıp eşli geliştirme ölçümünde ilerlerse kabul edilir. Sonraki yürütmeler bir sonraki düzeltmeye kanıt taşır. Geliştirme işleri, politika eğitimi işlerinden ve finalde ayrılmış test kümesinden ayrı durur; final kümesi ne düzeltmeye ne tercihe bilgi verir. İyi tanımlanmış iş paketleri, yönerge ve girdileriyle birlikte yürütülebilir biçimde saklanır.
Dış döngüde düzenek geliştikçe eskiden zor gelen işler sıradanlaşır; eğitim değeri düşer. Bu yüzden ortamlar pilot koşularla güncel model ve seçilmiş düzeneğe göre ayarlanır, araştırmacıdan gelen işler bilimsel girdilerle çeşitlenir. Her işe sabit bir ölçüt bestecisi, kaynak iş birliği izinden iş ölçütleri türetir: doğru yanıt denetimleri ile kanıt ve çıktı gerekleri ağırlıklı toplanır. Ödül iz sonunda hesaplanır, üretilen tokenlara ortak avantaj olarak dağıtılır. Eğitim sürerken yordam ve ölçütler sabit kalır; geçmiş etkileşimler görev tanımı ve tanı kanıtı verir, çevrimiçi eğitim örneği değil.
Çalışma alanı konuşma, iz, hesap ve sonuç panellerini tek görünümde toplar. Araştırmacı soruyu veriyle birlikte verir, çıkan incelemeyi denetler, sonraki iletilerle işi inceltir. Yürütme ReAct tarzı bir akıl-yürüt-eyle-gözle döngüsü izler; arXiv üzerindeki ReAct kaydı bu akıl-eylem döngüsünün fikir babası sayılır. Python, R ve komut satırı desteklenir, çevrimiçi veri tabanlarıyla yerel veri gölü birbirini tamamlar. Yüklenen belgeler, tablolar, diziler ve görüntüler kalıcı alanda durur. Düzenek altyapıdan ayrı tutulur: yönergeler, beceri paketleri ve bağlam yordamları düzenlenebilir parçalardır. HarborFramework doğrulayıcı belgeleri, iş paketinin yönerge ve girdileriyle nasıl koşulup notlandığını anlatır.
Üç tur üst üste koşulmuş: her turda 10 düzenek arama adımı, ardından seçilmiş düzenekte 20 pekiştirmeli güncelleme; başlangıç modeli Qwen-3.8-4B. HuggingFace üzerindeki Qwen belgeleri, küçük modellerin aracı işlerde nasıl koşulduğunu anlatır. Düzenek ölçümü tur başına %38,9'dan %44,4'e, %34,4'ten %46,7'ye, %61,1'den %70,0'a çıkmış; eğitim ödülü ortalaması da üç turda yükselmiş. Yazın okuma, veri tabanı yargıları, protokol arıza giderme ile gen ve varyant değerlendirme dört bilim ailesini oluşturmuş. Stanford Üniversitesi kökenli Biomni çalışması, bu tür biyomedikal aracı işlerin zeminini kurmuş. GitHub üzerindeki LAB-Bench kayıtları, yazın ve protokol işlerinin nasıl notlandığını gösterir.
Üç tur, dört aile: sayılar ne diyor
Finalde tek denemelik doğruluk %42,2'den %73,3'e çıkmış; işlerin %33,3'ü yanlıştan doğruya dönmüş, yalnız %2,2'si doğruyken yanlışa kaymış. Dört ailede de kazanım var; iyileşme çözümsüz kalmış işlere uzanmış, sistemin kapsama alanı genişlemiş. Burası sağlam: aynı test kümeleri, başla-bitir eşli karşılaştırma. Zayıf taraf dürüstçe yazılmış: yansıtıcı yardımcı model sabit duruyor; yani görev başarısı artmış ama iyileşme düzeneğinin kendisi güçlenmiş sayılmaz.
İki ayrı vaka bileşenleri teker teker sınıyor. Düzenek uyarlaması 24 öbekte en iyi %75,0'ı görmüş; seçilmiş düzenek ayrı doğrulama kümesinde %31,1'den %51,1'e çıkmış, model ağırlıkları hiç değişmeden 20 puan kazanım. Seçilmiş düzeneğin dört yönerge girdisiyle dokuz kapsamlı becerisi Python yürütme, kaynak ve şema inceleme, sınırlı kayıt arama ve açık yanıt sunumunu kapsıyor. Model öğrenmesi tarafı iki saate yakın pekiştirmeyle dört denemede kapsama ölçümünü %48,3'ten %67,8'e taşımış; düzenek ve deneme bütçesi aynı kalmış.
Gerçek etkileşim vakaları da var: küçük hücreli akciğer yazgısında JAK1 incelemesi için gen odaklı plan kurulmuş, tek hücre incelemelerine Seurat ve Scanpy, imza puanlamaya UCell ve AUCell, hücre iletişimine CellChat ve NicheNet atanmış. ARL4C sunumu isteğinde aday tarama hücresel ve moleküler kanıtlara Python ve PyPDF2 ile bağlanmış, her iddia destekleyen panele iliştirilmiş. GEPA çizgisi, yansıtmalı istem evriminin pekiştirmeyi geçebildiğini savunur; GitHub üzerindeki GEPA kayıtları bu çizgiyi açıklar.
Dürüst sınırlar raporda yazıyor: yansıtıcı sabit, çok düğümlü çalışma yok, başka hedeflere genelleme eksik. Yine de ders net: iş birliği izleri görev tanımına, görevler ölçüte, ölçütler ödüle dönüşürse sistem her turda hem yordamını hem modelini ileri taşır. Eğitim faturası kabaran her ekip için ders aynı: önce neyin öğretileceğini araştırmacıyla birlikte yaz, sonra usulü ve modeli ayrı ayrı sına.
| Konu | Not |
|---|---|
| İç döngü | Yordam araması 10 adım; doğruluk %31,1 → %51,1 |
| Dış döngü | Model eğitimi 20 tur; kapsama %48,3 → %67,8 |
| Üç tur | Final doğruluk %42,2 → %73,3; dört ailede kazanım |
AI yorumu
"Bana kalırsa bu çalışmanın en akıllı yanı iç içe kurgusu: usul ayrı sınanıyor, model ayrı eğitiliyor, ikisi birbirini besliyor. Benim gözümde araştırmacıyla dirsek temasında çalışan her ekibin başucu metni bu; merakı olan önce 10 adımlı düzenek aramasına baksın, sayılar da dipnotlardaki kayıtlarda duruyor. Geçen yıl küçük bir dil modelini bizzat eğittim ve boşuna dönen turların faturasını gördüm."
AI değerlendirmesi
Bana kalırsa çalışmanın en güçlü iddiası şu: aynı test kümelerinde doğruluk %42,2'den %73,3'e çıkmış, üstelik %33,3 iş ilk kez çözülmüş. Eşli başla-bitir karşılaştırması ve ayrı doğrulama kümesi burayı sağlam tutuyor. Zayıf taraf ise yansıtıcının sabit kalması: görev başarısı artmış ama iyileşme düzeneğinin kendisi güçlenmiş sayılmaz, genelleme payı var.
İkinci çekincem vaka ölçeği. JAK1 ve ARL4C anlatıları gerçek etkileşimden geliyor ama sayısal kazanım dört bilim ailesiyle sınırlı; başka alanlarda aynı usul işlemeyebilir. Karşıt görüşü de koyayım: savunucular, yordam ve model ayrıştırmasının her yerde aynı dille sınanabildiğini söyler. Bence haklılar, ama yeni alana geçerken ölçümü baştan kurmadan büyük laf edilmemeli.
Benim pratik çıkarımım şu: araştırmacıyla çalışan her ekip, etkileşim izlerini görev tanımına çevirip usulü ve modeli ayrı ayrı sınayabilir. Benim duruşum net: önce küçük bir iş kümesinde eş koşullu karşılaştırma yaparım, çift denetimden geçerse büyütürüm. Sayıları karar anında güncel kayıtlardan tekrar doğrularım.
Kaynaklar
9 bağlantı; 1 tanesi 1 başka haberde de kullanılıyor. Aynı bağlantıyı paylaşan haberler birbirini doğrulamış sayılmaz; kaynağın kökeni bağlantı sayısından çıkarılmaz.
- @youtube.com YouTube'da izle
- @github.com GitHub - ScienceBuddy repository
- @arxiv.org arXiv - ScienceBuddy paper
- @biomni.stanford.edu Stanford - Biomni paper
- @docs.harborframework.com HarborFramework - tasks verifier docs
- @arxiv.org arXiv - ReAct reasoning and acting
Aynı kaynağı kullanan: Harness Mühendisliğini Anlamak: Yapay Zekâ Ajanını Ayakta Tutan Gizli Makine
- @github.com GitHub - GEPA reflective prompts
- @github.com GitHub - LAB-Bench tasks
- @huggingface.co HuggingFace - Qwen3.5 model docs
sciencebuddy · yapay zeka · ajan · bilim · llm