Gündeme dön

Işıktan Hızlı Hesap Masalı: Fourier Efsanesinin Perde Arkası

OpenAI'ın yapay zekâ agent sürüleriyle ürettiği matematik yığınında log çarpanını tırtıklayan bir Fourier yöntemi duyuruldu. Ben Recht Argmin yazısında bu yöntemin gizli sabitler yüzünden pratikte hiç koşamayacağını gösterdi. Konu, yapay zekâ çağında ölçüyü doğru yazmanın neden önemli olduğunu anlatıyor.

Nodesdaily’e aktarım: (UTC+03:00)
YouTube'da izle — C-lYf2OvU8I
Okuma seçenekleri

Bu tarayıcıda cihazdan sesli okuma kullanılamıyor.

Kavram merceği

Bu görünümde geçen teknik kavramlardan birini seç. Genel tanımı, öğretici örneği ve haberdeki kullanımını birlikte oku.

Bu görünümde sözlüğümüzdeki kavramlardan biri bulunmadı. Sözlük henüz tüm terimleri kapsamıyor.

Frekansları Ayıklamak: Fourier Ne İşe Yarar

Önce zemini kuralım. Fourier dönüşümü (sinyaldeki her frekansın ne kadar güçlü olduğunu ölçen hesap) gündelik dille şöyle çalışır: elinizde n adet örnek var, her frekansla sinyalin benzerliğini tek tek ölçüyorsunuz. Tıpkı kalabalık bir salonda her sesi ayrı ayrı dinlemeye çalışmak gibi. Bu ölçümün adı nokta çarpım (iki diziyi eşleyip toplama işi), frekans da saniyedeki titreşim sayısı demek. Her frekans için n işlem, toplam n frekans için n çarpı n işlem gerekir. Dört dakikalık bir şarkıyı düşünün: örnek sayısı büyüdükçe hesap patlar, telefonunuzun gürültü engelleme özelliği bu yüzden hızlı yöntemlere muhtaçtır.

1965 yılında James Cooley ve John Tukey bu duvarı yıkan kestirme yolu buldu. Yöntem üç adımda özetlenir: 1) girdiyi karıştırıp ikiye bölmek, 2) her yarıya ayrı ayrı dönüşüm uygulamak, 3) sonuçları ucuz bir birleştirme adımıyla toplamaktır. Tıpkı koca bir iskambil destesini ikiye bölüp her yarıyı ayrı sıralamak gibi. Bu özyineleme (kendi kendini çağıran işlem) log2(n) kez tekrarlanınca toplam iş 5 n log2(n) işlemi geçmez. Somut rakamla: n bin iken n kare bir milyon, hızlı yöntemse elli bin işlem yapar, yani yirmi kat kazanç. N bir milyonken kazanç on bin kata çıkar. Bu fark, bir radar sinyalinin yetişip yetişememesi anlamına gelir.

Peki sınır nerede? Çıktıyı yazmak bile n adım ister, yani n işlemin dibine inmek olanaksız görünür. Hızlı dönüşüm bu tabanın 5 log2(n) katı kadar yavaş çalışır; n on üzeri 12 boyuna varınca bu çarpan iki yüze ulaşır. İşte ekiplerin hedefi, bu çarpanı tırtıklamaktır. 1973 yılında Morgenstern, katsayıları sınırlı tutan her yöntemin n log n duvarına çarpacağını kanıtladı. Yıllar sonra Ailon, dengesiz sayılarla oynayan kestirmelerin sayısal olarak dağıldığını gösterdi. Wikipedia arka plan maddeleri, bu iki sonucun alanı kırk yıl boyunca nasıl kilitlediğini anlatır; yeni iddia, kilidi farklı bir anahtarla zorluyor.

Galaktik Yöntem: Kağıt Üstünde Hızlı, Sahada Yok

Gelelim OpenAI duyurusuna. Yapay zekâ laboratuvarının agent sürüleri, main.pdf adlı dosyada n çarpı log üzeri bir eksi epsilon mertebesinde bir sınır öne sürdü. Gündelik dille: log çarpanı eskisinden bir tutam küçük, yani kuramsal olarak daha hızlı. Bu iddia, LLM modellerinin ürettiği devasa kanıt yığınından çıktı; token üstüne token akıtan, prompt döngüleriyle yol alan otomatik bir matematik hattının ürünü. İlk bakışta sevinç verici: altmış yıllık rekor kırpılmış gibi duruyor. Ama ölçünün içinde gizli bir sabit (üst sınırı şişiren görünmez çarpan) var ve işin rengi orada değişiyor.

Ben Recht, Argmin sayfasındaki incelemesinde bu sabitin korkunç büyüklüğünü ortaya koydu. Tahmini değerler 10 üzeri 100 dolayında; N on üzeri 12 iken bile klasik yöntem 10 üzeri 99 kat önde. Yani yeni yöntemin öne geçmesi için girdinin akıl almaz büyüklükte olması gerekir, evrendeki atom sayısını kat kat aşan bir ölçekte. Tıpkı ışık hızına yaklaşınca tuhaf şeyler olması gibi, sonsuza yaklaşınca da hızlı olan yavaş görünür. Recht, yapay zekâ coşkusuyla parlatılan bu sonucun pratikte hiç koşamayacağını, yalnız kâğıt üstünde hızlı kaldığını söyler. Mini bir örnek: telefon rehberinizi sıralamak için evrenin sonunu beklemek gibidir.

Dahası, yöntemin varsaydığı bilgisayar gerçekte yok. Hesap modeli, sonsuz duyarlıklı karmaşık sayıları tek adımda çarpabildiğinizi varsayıyor; sayıların boyu girdiden kat kat hızlı büyürken hafıza gereksinimi de patlıyor. Tıpkı sonsuz yakıtlı bir roket hayal etmek gibi. RjLipton günlüğünde anlatılan galaktik algoritma anlayışı tam buraya oturur: kuramsal olarak parlak, ama yeryüzündeki hiçbir veri kümesinde koşmayan yöntemler. Lipton ve Regan bu adı, asla kullanılmayacak ama alanın yönünü değiştiren buluşlar için koydu. OpenAI yöntemi de bu ailenin yeni üyesi; kuralına uygun, ama sahaya uygun değil.

Hraness kayıtlarındaki özet de tabloyu doğrular: hız sınırı gerçek, gizli sabitler devasa, varsayılan aygıt imkânsız, kuram camiasının ödül düzeni bu tip çalışmaları alkışlıyor. Özellikle matris çarpımında n üzeri 2.25 iddiası, sabiti kestirilemeyen bir başka örnek olarak anılıyor. Daha iyi yazılsa bu çalışmalar en prestijli kuram mecralarında yayımlanır, hatta ödül alırdı. Ama hiçbiri gerçek bir aygıtta koşmaz; bilgisayar kuramı, bilgisayarlarla ilgilenmeyen bir matematik dalına dönüşmüş durumda. Bu saptama, anlatının en sert cümlesidir ve bence en haklı olanıdır.

Ölçüyü Yanlış Tutmak: Big-O Dersi ve Sokrates

Big-O (girdi büyürken sürenin nasıl şiştiğini anlatan ölçü) aslında şunu söyler: n yeterince büyükken süre, sabit bir çarpanla sınır fonksiyonunu aşmaz. Bu tanımda 10 üzeri 80 çarpanlı bir yöntem bile doğrusal sayılır; evrendeki atom sayısı kadar bekleten bir yöntem bile. Tıpkı köprü kurarken görelilik kuramına ihtiyaç duymamanız gibi, günlük işte bu ayrıntı görünmez. Ama yanlış da değildir; sonsuza yaklaşınca tuhaf şeyler olur. Bilgisayar bilimciler bu ölçüyü kullanır, çünkü kimse daha iyisini bulamadı; her kesme noktası keyfi olur, sayısız tartışma doğururdu.

Alexander, anlatıyı bir Sokrates oyunuyla taçlandırır. Protagoras, Big-O yerine 1, 2, 3 gibi düzeyler önerir; Sokrates onu sorularıyla köşeye sıkıştırır ve her sayının bir sonrakine nasıl sığmadığını gösterir. Tıpkı sınavda herkese aynı notu vermeye çalışmak gibi, kaba ölçüler adaleti bozar. Bu bölüm, Recht'in eleştirisine verilen felsefi yanıttır: ölçü kusurlu olabilir, ama yerine konan her basitlik daha beter çuvallar. Mini örnek: trafik yoğunluğunu yalnız hızlı ve yavaş diye ölçmek, kimseye yol tarifi verdirmez.

Son söz kültür üzerine: kuram camiası program koşturmayı ödüllendirmez, varoluş kanıtı yeterli sayılır; LLM agent sürüleri de bu huyu otomatikleştirir, kimsenin sevmediği alışkanlıkları büyütür. Tıpkı bir fotokopi aygıtının kötü bir formu binlerce kez çoğaltması gibi. Ama absürtlük bir fırsat da sunar: yapay zekâ çağında ölçütleri, ödülleri ve beklentileri yeniden düşünmek için. Benim çıkardığım ders net: bir yapay zekâ modelini överken hız iddiasını yakından inceleyin, gizli sabiti sorun, sahada koşup koşmadığını sorgulayın.

Görsel: nodesdaily AI
KonuÖzet
Hız iddiasıLog çarpanı kırpıldı ama sabit 10 üzeri 100 dolayında
Galaktik sorunYöntem yalnız akıl almaz boyutta öne geçer
Ölçü dersiBig-O doğru okunmalı, saha testi şart

Videodaki anahtar anlar

  1. Log Çarpanını Tırtıklayan İddia
  2. On Üzeri Yüz Sabit Şoku
  3. Sonsuz Duyarlıklı Sayı Hayali
  4. Sokrates Köşeye Sıkıştırır
  5. Işık Hızı Köprü Benzetmesi

AI yorumu

"Ben bu tartışmada ölçünün iki yüzünü de görüyorum: saf matematik açısından sınırın kırpılması gerçek bir sevinç, ama mühendis gözüyle 10 üzeri 100 sabitli bir yöntemin adı hız olamaz. Bana kalırsa asıl ders, yapay zekâ modellerini değerlendirirken de aynı tuzağa düşmemek; kâğıt üstünde parlayan her token tasarrufu sahada işe yaramaz."

AI değerlendirmesi

Karşı görüşü de hakkıyla kuralım: saf matematik gözüyle bu sonuç gerçektir ve değerlidir. Kurallar baştan konmuş, OpenAI ekibi kurallara uymuş, sınır kırpılmış. Sonsuz duyarlıklı hesap modelinde altmış yıllık duvarın incelmesi, kuramsal açıdan sevinç vericidir. Tıpkı satrançta kuramsal bir yeniliğin pratikte oynanmasa da alkışlanması gibi. Bu yüzden çalışmayı çöp diye yaftalamak haksızlık olur; yanlış olan sonuç değil, sonucun sahada hız diye sunulmasıdır.

Öte yandan sınırlar açıktır: varsayılan düzenek yoktur, sabitler korkunçtur, kırılma noktası erişilemezdir. Ayrıca ödül düzeni, koşmayan çalışmaları alkışladıkça LLM hatları daha çok galaktik kanıt üretecektir. RjLipton çizgisindeki iyimser görüş, bu tip sonuçların yeni tekniklere kapı araladığını söyler; ama bu örnekte kapının ardında koşar bir yol görünmüyor. Benim beklentim, alanın ölçütlerini sahaya yaklaştırmasıdır.

Pratik çıkarımım şudur: yapay zekâ çağında her hız iddiasını üç soruyla karşılayın: gizli sabit ne, hangi boyutta öne geçiyor, gerçek aygıtta koşar mı? Bir agent demosunda token tasarrufu duyduğunuzda da aynı soruları sorun. Argmin tartışması, ölçüyü doğru okumanın ders kitabıdır; Wikipedia maddelerindeki tarihçe de gösterir ki bu ders altmış yıldır tazeliğini koruyor. Ölçüyü doğru tutan, sahada kazanır.

Kaynaklar

5 bağlantı; bunları kullanan başka yayımlanmış haber yok. Aynı bağlantıyı paylaşan haberler birbirini doğrulamış sayılmaz; kaynağın kökeni bağlantı sayısından çıkarılmaz.

fourier · yapay zeka · big-o · algoritma · matematik · openai

Konuyu takip et

Bu haberden önce

Aynı olayla editör tarafından ilişkilendirilmiş önceki haberlerden kısa bir okuma sırası.

Kanıt ve kaynaklar

Kaynak metnini, sürümünü ve köken bilgisini incele.

KAYNAKLARLA OKU

Bu haberi açalım.

Hesap kontrol ediliyor…