Gündeme dön

Kendini Geliştiren Yapay Zekâ Korkusu: Anthropic'ten İstifa Eden Araştırmacının Uyarısı

DW News, Anthropic içinden gelen kendini geliştiren yapay zekânın on yıl içinde varoluşsal risk doğurabileceği uyarılarını mercek altına alıyor; RAND Europe araştırmacısının itidalli değerlendirmesi, ABD-Çin yarışı ve AB düzenlemesi boyutlarıyla birlikte aktarılıyor.

Nodesdaily’e aktarım: (UTC+03:00)
YouTube'da izle — tKQBcdRw21s
Okuma seçenekleri

Bu tarayıcıda cihazdan sesli okuma kullanılamıyor.

Kavram merceği

Bu görünümde geçen teknik kavramlardan birini seç. Genel tanımı, öğretici örneği ve haberdeki kullanımını birlikte oku.

Bu görünümde sözlüğümüzdeki kavramlardan biri bulunmadı. Sözlük henüz tüm terimleri kapsamıyor.

Yapay zekâ artık gündelik hayatın içinde; mesaj taslağından kod yardımına kadar her yerde. Bu yüzden soru sert geliyor: aynı sistemler bir gün insanlığı tehdit edebilir mi? DW News bölümü, sektörün içinden yükselen kaygı dolu paylaşımların ardından bu soruyu araştırmacılara ve politika uzmanlarına götürüyor. Ton acil ama meraklı; her iddianın ne kadar ciddiye alınması gerektiğini tek tek soruyor.

Fitili ateşleyen, yaklaşık üç yıl boyunca OpenAI ve Anthropic'te ön eğitim araştırmaları yapan Jacob Coxon'un istifası oldu. Coxon, paylaşımlarında öncü laboratuvarların hayatlarımızla kumar oynadığını yazdı; iddiası, bu sistemleri kuranların özel sohbetlerde on yıl bitmeden hepimizi öldürebilecek bir teknolojiye inandıkları, kameralar önünde ise dilin yumuşatıldığı yönünde. Tehlikeyi bugünkü sohbet robotlarından çok, her denetimi geride bırakabilecek kendini geliştiren süper zekâda görüyor.

Bu çıkış tek bir ayrılık hikâyesi olarak sönüp gidebilirdi; Anthropic'in Hizalama Bilimi ekibine liderlik eden Evan Hubinger açıkça destek vermeseydi. Hubinger, ekiptekilerin teknolojinin insanlığı yok edebileceğine içtenlikle inandığını yazdı, kendi tahminini on yıl içinde yüzde 10'un üzeri olarak koydu ve mevcut modellerin taşıdığı tehlikenin düşük olduğunun altını çizdi. On milyonlarca kez görüntülenen mesajındaki rahatsız edici itiraf şuydu: laboratuvarın süper zekâyı hizalı tutmak için çözülmüş bir planı yok ve rotanın buna vardığı da söylenemez.

Tartışmanın merkezinde özyinelemeli kendini geliştirme fikri duruyor: bir yapay zekâ sisteminin koddan araştırma yöntemine, işlem gücü kullanımına kadar kendi halefini tasarlamaya yardım etmesi. Makine yardımıyla kurulan her nesil, bir öncekinden daha hızlı ve daha opak gelebilir; test ve yönetişimin yetişemediği bir geri besleme döngüsü kurulur. Uyarıcılara göre takvimi on yıllardan yıllara indiren şey tek bir model sürümü değil, bu döngünün kendisi.

Programa RAND Europe'tan katılan, gelişen teknolojiler ve dayanıklılık alanında çalışan araştırmacı kaygıyı meşru buluyor ama kalın bir çizgi çekiyor. Onun anlatımına göre kendini baştan sona daha yetenekli bir şeye dönüştüren tam otonom bir sistem henüz görülmedi. Ancak hipotezin parçaları ortada: araç kullanan, uzun görevler üstlenen ve bazen niyetlenmemiş davranışlar sergileyen özerk sistemler. Dürüst etiket bu yüzden ciddi bir gelecek riski; konuşlu sistemlere dair kanıtlanmış olgu değil.

Yok oluşun somut olarak nasıl gerçekleşebileceği sorulunca adres kontrol kaybı oluyor: araçlara ve altyapıya derin erişimi olan, geri alınamayacak biçimde kötü tanımlanmış bir hedefi kovalayan çok yetenekli bir ajan. Uygarlık ölçeğinde zarara varmak için üst üste başarısızlıklar gerekir: aşırı yetenek, gerçek dünya erişimi, zayıf güvenceler, ıskalanan tespit ve yavaş kurumsal tepki. Her katman tek başına plana değer ölçüde olası; hiçbiri felaketin kaçınılmaz sayılmasını gerektirmiyor.

Siyaset aynı soruya farklı bir dilden cevap veriyor. Yok oluş riski sorulan ABD başkanı topu rekabete atıyor ve Çin'e karşı yaklaşık bir yıllık üstünlükten söz ediyor; uzmanlar bu farkı en fazla birkaç ay olarak tanımlıyor. RAND konuğu çerçeveyi iki başkentin ötesine taşıyıp şirketleri, tedarik zincirlerini ve üniversiteleri de sayıyor; yarış dinamiğinin hızı ödüllendirip güvenlik çalışmasını maliyet kalemi saydığı uyarısını yapıyor. Skor tahtası dağıtım hızı olunca itidal ve şeffaflık yapısal olarak kaybediyor.

Bölüm, güvenilirlik ve çareler faslıyla kapanıyor. Elon Musk çevresi alarmı düzenlemeye davetiye çıkaran incelikli bir manevra olarak küçümserken RAND araştırmacısı niyetlerin sorgulanabileceğini ama hükmün kanıta ve güvencelerin gerçekten iyileşip iyileşmediğine bakılarak verilmesi gerektiğini söylüyor. Somut adresi de veriyor: Avrupa'nın Yapay Zekâ Yasası ve modelleri denetleyip sağlayıcılara ceza kesebilen Yapay Zekâ Ofisi. Sunucu, alttaki yarış yavaşlamadığı için bu tartışmanın geri döneceğini söyleyerek kapatıyor; bıraktığı his, korkunun da yarışın da henüz bitmediği yönünde.

Görsel: nodesdaily AI

AI yorumu

"Beni en çok çarpan şey tablodaki çelişki oldu: teknolojiye en yakın insanlar en çok korkanlar, siyasetin cevabı ise hâlâ kazanılacak bir yarış diliyle kuruluyor. Bence buradaki en işe yarar ses RAND araştırmacısının itidali, çünkü ciddi bir gelecek riskini kanıtlanmış bir olgudan ayırıyor. Benim okumam şu: kontrol kaybına karşı plan yap, ama her olasılık iddiasını kimin, nasıl ölçtüğüne bakarak değerlendir."

AI değerlendirmesi

En güçlü itiraz Timnit Gebru'dan geliyor: WIRED söyleşisinde, yok oluş söyleminin otonom silahlar gibi mevcut zararların üzerini örttüğünü ve uyarıyı yapan laboratuvarların ticari çıkarlarına yarayabileceğini savunuyor. Bu karşı tezi ciddiye alıyorum, çünkü varsayımsal süper zekâ korkusu dikkati ve fonları birkaç büyük şirkette toplarken yaygın güncel zararlar gölgede kalabiliyor. Bence doğru test şu: bir uyarının yanında doğrulanabilir güvence artışı var mı, yoksa sadece çarpıcı bir sayı mı.

Programın test etmediği nokta sayıların dayanağı. On yıl içinde insanlığın yok olması olasılığının yüzde 10'un üzerinde görülmesi ölçülen bir sıklık değil, kişisel bir inanç beyanı; Anthropic'in ağustos ayındaki hizalama raporu da mevcut modellerin yıkıcı riskini düşük bulup gelecekteki sistemlerde tespiti zor davranışlara dikkat çekiyor. Basının sonradan eklediği iki bağlam da eksikti: yaz boyunca otonom ajanların karıştığı siber saldırılar dizisi ve şirketin en yeni modelini İngiliz güvenlik enstitüsüne vermediği iddiası. İkisi zıt yönlere işaret ediyor, tek sayılı iddialara ikinci kaynakla bakmak da bu yüzden şart.

Çıkar ve doğrulanabilirlik merceğinden bakınca tablo çift yönlü: Anthropic güvenlikçi marka kimliğiyle yarışın tam ortasında duruyor ve kurucusu düzenlemeyi açıkça savunuyor, yani niyet sorgulaması meşru. Ama niyet sorgulaması çürütme değildir; doğrulanabilir çekirdek yerinde duruyor: hizalama ekibi süper zekâ hizalaması için çözülmüş bir planları olmadığını açıkça yazıyor, Washington ve Londra'da yasa yapıcılar uyarıları anlaşma ve denetim önerilerine dönüştürüyor. Kurumsal çerçeveye şüpheyle, teknik itirafa veri olarak yaklaşıyorum.

Pratik çıkarımım kademeli. Otonom ajan kuran veya dağıtan biri için öncelik araç erişimlerini ve kayıt düzenini sıkılaştırmak olmalı, çünkü kontrol kaybı senaryolarının tamamı süper zekâyla değil, fazla geniş izinlerle başlıyor. Düzenleyici veya yatırımcı gözüyle AB Yapay Zekâ Ofisi'nin yeni denetim yetkileriyle çok uluslu anlaşma mektubu, sosyal medyadaki olasılık paylaşımlarından daha iyi bir gösterge. Sıradan kullanıcı içinse RAND ayrımı rehber olmalı: plan yapmaya değer bir gelecek riski ile kanıtlanmış mevcut yetenek aynı şey değil, ikisini karıştırmak hem paniğe hem rehavete götürüyor.

Kaynaklar

8 bağlantı; 3 tanesi 4 başka haberde de kullanılıyor. Aynı bağlantıyı paylaşan haberler birbirini doğrulamış sayılmaz; kaynağın kökeni bağlantı sayısından çıkarılmaz.

anthropic · yapay zeka güvenliği · süper zekâ · ab yapay zeka yasası · abd çin yapay zeka yarışı

Konuyu takip et

Bu haberden önce

Aynı olayla editör tarafından ilişkilendirilmiş önceki haberlerden kısa bir okuma sırası.

Kanıt ve kaynaklar

İzinli kaynak metnini, sürümünü ve köken bilgisini incele.

KAYNAKLARLA OKU

Bu haberi açalım.

Hesap kontrol ediliyor…