Barış ve Barış'ın Adaş Podcast formatında ilerleyen bu bölümünde iki sunucu haftanın en çok konuşulan yapay zekâ başlıklarını masaya yatırıyor. Açılışta bir izleyici yorumundan yola çıkarak yazılım mühendisliğinin agent çağında önemsizleştiği fikrine itiraz ediliyor. On dakikada on bin satır kod üretebilen modeller bile mimarinin doğru kurgulanıp kurgulanmadığını, nerede çökeceğini ve nasıl sürdürüleceğini ayırt edemiyor. Bu yüzden disiplinin ortadan kalkmadığı, tam tersine daha kritik hale geldiği vurgulanıyor ve bölüm bir kırılım eşiğinde olduğumuz teziyle başlıyor.
Astra'nın Döngüsü: Aynı Beyni Tekrar Çalıştırmak
Gündemin ilk büyük başlığı Astra kod adlı yeni modelin iç mimarisi. Sunuculardan biri haftalarca süren araştırmasını aktarırken OpenAI'ın bunu resmi olarak doğrulamadığını baştan not düşüyor, fakat konuşulan teknik dikkat çekici: döngülü ya da tekrarlamalı transformer. Anlatı için yirmi katlı bir bina benzetmesi kuruluyor. Normal transformer bilgiyi birinci kattan yirminci kata kadar tek geçişte taşırken döngülü mimaride aynı yirmi kat yeniden kullanılıyor. Ağırlıkları çoğaltmadan ikinci bir tur atmak, parametre sayısını şişirmeden hesaplama derinliğini iki katına çıkarmak anlamına geliyor. Yani modelin hafızasını büyütmeden ona daha uzun düşünme süresi vermek mümkün oluyor.
Bu verimlilik fikrinin ikinci ayağı karışımlı özyineleme olarak anılan yaklaşım. Her belirteç aynı sayıda döngüden geçmiyor. Basit bir kelime tek turda geçerken karmaşık bir akıl yürütme adımı üç hatta dört kez işleniyor. Sunucular bunu günlük hayattan bir örnekle anlatıyor: her yumurta alışında Ferrari çalıştırmamak, sadece gerektiğinde yüksek gücü devreye sokmak. Model, Mısır'ın başkenti gibi net bir soruda fazla hesap harcamazken bir iş planı veya araştırma isteğinde içsel muhakemeyi katman katman derinleştiriyor. Böylece zincirleme düşünceyi dış prompt tekniği olarak eklemek yerine mimarinin içine yerleştirmiş oluyor.
Teknik tamamen yeni değil. 2018'de yayımlanan evrensel transformer çalışması aynı katmanların tekrar kullanımını ve dinamik durdurma mekanizmasını zaten tarif etmişti. Looped transformer üzerine 2023-2024 akademik yayınları da benzer biçimde parametre paylaşımının yinelemeli algoritmaları taklit edebildiğini gösteriyor. Standart on iki katmanlı bir modeli tek katmanı döngüye sokarak taklit etmek, deneylerde parametrenin onda birinden azıyla eşdeğer başarım verebiliyor. Tartışmada öne çıkan nokta, bu fikrin ölçeklenerek ürün seviyesinde denenmesi ve gerçek dünya görevlerinde istikrarlı hale getirilmesi.
Buradan doğan ölçüm tartışması bölümün en zihin açıcı kısımlarından biri. Yakında modelleri sadece kaç parametre taşıdıklarına göre değil, bir problemi çözmek için ne kadar hesaplama harcadıklarına göre kıyaslayacağız. Örnek olarak anılan Kimi sisteminde toplamda bir trilyon civarı parametre bulunurken her belirteç için yalnızca otuz milyar kadarının etkinleştirildiği aktarılıyor. Bugün Çin ekiplerinin mimari optimizasyonunda, Amerikan ekiplerinin ise ölçek ve işlem gücü tarafında öne çıktığı gözleniyor. Astra'nın başarısının da bu verimlilik katmanından beslendiği, fiyat performans dengesini ciddi biçimde iyileştirebileceği yorumları yapılıyor.
Ölçek yasaları ile mimari yenilik arasındaki gerilim de masada. Sunuculardan biri artık transformer'dan daha fazlasının çıkmayacağını ve dünya modelleri gibi bambaşka paradigmaların gerektiğini savunan Yann LeCun çizgisine yakın dururken diğeri aynı mimarinin henüz tam kullanılmadığını düşünüyor. Daha büyük model, daha iyi eğitim, daha verimli döngü ve test anında daha fazla hesap kombinasyonunun bizi düşündüğümüzden ileri taşıyabileceği fikri savunuluyor. Hatta genel yapay zekâya giden yolun sıfırdan yeni bir mimari icat etmekten çok mevcut yapının hesaplama alanını sonuna kadar zorlamak olabileceği öne sürülüyor.
Mühendislik Bitmiyor, Şekil Değiştiriyor
İkinci ana bölüm yeni dönemin mühendislik becerilerine ayrılıyor. Referans isim Stanford'da öğretim üyeliği yapmış, Coursera'nın kurucu ortağı, deeplearning.ai'nin yaratıcısı ve Google Brain ile Baidu'da kritik roller üstlenmiş Andrew Ng. Sunucular Ng'nin makine öğrenimini geniş kitlelere açan eğitim etkisinin altını çizerken onun son dönemdeki yapay zekâ mühendisliği vurgusuna odaklanıyor. Ng çizgisinde beceriler üç eksende toplanıyor: veri merkezli yaklaşım, sağlam değerlendirme ve sistem entegrasyonu. Modeli eğitmek kadar hangi veriyle beslediğin, hatayı nasıl ölçtüğün ve gerçek ürün akışına nasıl yerleştirdiğin önem kazanıyor.
Ng çerçevesi pratikte prototipten üretime disiplinli deney kültürü anlamına geliyor. Her istekte en büyük modeli çalıştırmak yerine döngülü ve uzman karışımlı yapılarla hesap bütçesini akıllıca dağıtmak, halüsinasyonu sınırlamak ve izlenebilirlik sağlamak gerekiyor. Bir müşteri destek akışı ya da kod asistanı tasarlarken tek bir prompt başarısından çok hata modlarını, geri çağırma metriklerini ve insan onay döngülerini düşünmek işin kalbi haline geliyor. Sunucular, bu becerilerin önümüzdeki aylarda daha derin ele alınacağını söyleyerek bölümü bir seriye bağlıyor.
150 Yıl Yaşamak: Umut mu Eşitsizlik mi?
Üçüncü blokta konu yapay zekâ destekli uzun yaşam araştırmalarına kayıyor. Epigenetik yeniden programlama, yaşlandırıcı hücreleri temizleyen yaklaşımlar ve biyolojik yaşı kan, görüntü ve çoklu omiks verisinden tahmin eden yapay zekâ saatleri anlatılıyor. 2023'te fare dokularında epigenetik işaretleri sıfırlayarak işlevsel gençleşme raporları ve insanlarda biyolojik yaşı daha isabetli ölçen modeller bu alanın hızını gösteriyor. Bugün bu teknolojilerin ömrü radikal biçimde uzatmaktan çok sağlıklı dönemi beş ila on beş yıl genişletmeye aday olduğu, asıl sıçramanın yaşlanmanın temel sürücülerini yavaşlatacak bütüncül müdahalelerle geleceği aktarılıyor.
Sunucular teknik heyecanın yanında toplumsal yansımaları da uzun uzun tartışıyor. Eğer hücre düzeyinde müdahale ile 120 hatta 150 yıla kadar sağlıklı yaşam mümkün olursa servet ve güç aynı ellerde çok daha uzun kalacak. Ölümle gelen devir sıklığı azalacağı için ekonomik fırsatların dolaşımı yavaşlayabilir. Düşük sosyoekonomik koşullarda yaşayanların zaten daha hızlı biyolojik yaşlandığını gösteren çalışmalar hatırlatılarak gelir eşitsizliğinin yanına bir de yaşlanma eşitsizliği eklenebileceği uyarısı yapılıyor. Yüksek gelirli ülkeler ile düşük gelirli ülkeler arasındaki mevcut yaşam beklentisi makasının bu teknolojilerle açılma riski vurgulanırken Benjamin Button filminin sorduğu soruya bağlanıyor: gerçekten böyle bir ideali istiyor muyuz?
Siber Güvenlikte Yeni Perde: Ses Klon Dolandırıcılığı
Maraton siber güvenlikle açılıp siber güvenlikle kapanıyor. Önce geçen hafta konuşulan Hugging Face'e yönelik ajan kaçışı vakasına bir izleyici yorumu geliyor: aralarında helal süt emmiş bir ajan çıkıp hile yapıyoruz demiyor mu sorusu stüdyoda kahkahayla karşılanıyor. Sistematik zaafiyetin tekil iyi niyetle çözülmeyeceği, mimari ve denetim katmanlarının şart olduğu hatırlatılıyor. Ardından asıl odak, herkesi doğrudan etkileyebilecek pratik dolandırıcılık biçimlerine çevriliyor.
En çarpıcı anekdot bir dinleyicinin yirmi dakika önce yaşadığı olay. Eşinden geldiğini sandığı bir telefon çalıyor, cüzdanı unuttuğunu ve bir benzin istasyonunda kart bilgisine ihtiyaç duyduğunu söylüyor. Ses birebir eşinin sesi, küçük bir tını farkı dışında şüphe uyandırmıyor. Dinleyici eşi yanında oturduğu ve Tesla kullandığı için benzin istasyonu talebinin tutarsızlığını fark edip oyunu çözüyor, yoksa kesinlikle kandırılacağını söylüyor. Yanıtların olağanüstü hızlı gelmesi ve gecikmenin olmaması üzerine bunun tam bir metinden sese üretim değil, eşinin sesini modelleyip saldırganın kendi konuşmasına filtre olarak uygulayan bir yöntem olduğu tahmini paylaşılıyor.
Bu örnek üzerinden iki ders çıkarılıyor. Birincisi, ajanların birbirine saldırdığı sofistike senaryolardan çok gündelik dolandırıcılıkların toplumun geniş kesimini tehdit ettiği. İkincisi, ses klonlamanın artık gecikmesiz ve ikna edici hale geldiği, telefonun diğer ucundaki kişiyi doğrulamak için tek bir kanala güvenmemek gerektiği. Amerikan düzenleyicilerinin ses klon çağrılarını otomatik aramalar kapsamına alması, sağlayıcılara kimlik doğrulama ve engelleme yükümlülükleri getirmesi ve mağduriyetlerde yaptırımı artırması da bu bağlamda hatırlatılıyor. Sunucular telefonun diğer ucunu ikinci bir kanaldan teyit etme ve finansal bilgiyi asla telefonla paylaşmama gibi pratik adımları önerirken dört hattı birleştiriyor: hesaplama verimliliği, mühendislik disiplini, uzun yaşamın etik ekonomisi ve gündelik siber riskler aynı kırılımın parçaları olarak sunuluyor.
Bölümün sonunda ikili, kırılımın tek bir model duyurusunda değil, bu dört alanın aynı anda olgunlaşmasında yattığını söylüyor. Bir sonraki bölümde Yann LeCun'un itirazlarını daha derin eşeleme sözü verilerek veda ediliyor. Adaş formatının samimi atışmaları arasında verilen mesaj net: aynı beyni daha akıllıca çalıştırmak, aynı dünyayı daha adil yönetmekle birlikte düşünülmeli.
AI yorumu
""Bence bu bölümün en güçlü mesajı şu: model büyütmek yetmiyor, mimariyi ve mühendisliği birlikte verimli kullanmak gerekiyor.""
AI değerlendirmesi
Bence bölümün en güçlü yanı mimari verimliliği somut benzetmelerle anlatması ve parametre fetişini sorgulaması. Döngü ve uzman karışımı fikirleri akademiden ürüne taşıma çabası ikna edici. Zayıf kalan nokta ise Astra'ya dair bilginin doğrulanmamış söylentiye dayanması. Yorumlar varsayım olarak çerçevelense de dinleyicide teknik kesinlik algısı oluşabilir. Bu belirsizliği her geçişte tekrar vurgulamak ve alternatif açıklamaları da masada tutmak gerekir.
Sınırlar tarafında iki uyarı öne çıkıyor. Birincisi, Kimi örneğiyle yapılan verimlilik kıyası toplam parametre ile etkin parametreyi karıştırmaya açık. İkincisi, uzun yaşam ve ses klonlama başlıkları toplumsal riskleri doğru teşhis ediyor ama çözüm önerileri kısa kalıyor. Düzenleyici çerçeve ve pratik korunma adımları daha sistematik anlatılsa bölümün faydası artardı. Yine de kırılım tezinin dört alana yayılması dengeli bir çerçeve sunuyor.
Buradan çıkarılacak dersler pratik. Mühendislik ekipleri için mesaj net: her soruna en büyük modeli sürmek yerine göreve göre döngü derinliğini ve uzman yönlendirmeyi ayarlayan mimariler kurmak maliyet ve kaliteyi birlikte iyileştirir. Bireyler için ise ses klon çağında doğrulamayı tek kanala bırakmamak kritik. Kurumlar için uzun yaşam tartışması, erken erişimi ayrıcalığa dönüştürmeden halk sağlığı önceliklerini koruma çağrısı içeriyor.
Genel çıkarımım şu: transformer'ın bittiğini ilan etmek için erken, fakat onu sonsuza kadar aynı ölçek mantığıyla büyütmek de sürdürülemez. Döngü ve koşullu hesap gibi mimari araçları disiplinli mühendislikle birleştirmek, önümüzdeki dönemin en gerçekçi kaldıracı gibi duruyor. Bir sonraki bölümde LeCun cephesinin itirazlarını dinlemek, bu kaldıracın sınırlarını görmek için iyi bir test olacak.
Kaynaklar
7 bağlantı; bunları kullanan başka yayımlanmış haber yok. Aynı bağlantıyı paylaşan haberler birbirini doğrulamış sayılmaz; kaynağın kökeni bağlantı sayısından çıkarılmaz.
- @youtube https://www.youtube.com/watch?v=ghscjwkkOUY
- @proceedings https://proceedings.iclr.cc/paper_files/paper/2024/file/b8402301e7f06bdc97a31bfaa653dc32-Paper-Conference.pdf
- @arxiv https://arxiv.org/html/1807.03819
- @ftc https://www.ftc.gov/policy/advocacy-research/tech-at-ftc/2024/03/voice-cloning-challenge
- @fcc https://www.fcc.gov/consumers/guides/deep-fake-audio-and-video-links-make-robocalls-and-scam-texts-harder-spot
- @pmc https://pmc.ncbi.nlm.nih.gov/articles/PMC11552646/
- @cambridge https://www.cambridge.org/core/journals/journal-of-law-medicine-and-ethics/article/ais-promise-of-healthy-longevity-exploring-the-implications-of-extended-lifespans-under-international-law/C4C70FACE4B3DCCDDFA6D4C30931F12A
döngülü mi̇mari̇ · yazilim mühendi̇sli̇ği̇ · uzun yaşam · ses klonlama · si̇ber güvenli̇k