ReLU Sonrası Eğri: GELU, SiLU ve SwiGLU Neden Daha İyi Genelleme Vadediyor

StatQuest sunucusu Josh Starmer, ReLUyu bilen herkese üç aktivasyon fonksiyonunu, GELU, SiLU ve SwiGLUyu anlatmayı hedefliyor ve manşet net: ilk ikisi ReLUdan yalnızca ince farklarla ayrılıyor, üçüncüsü çok daha vahşi şekillere bürünebiliyor, ama üçü de eğitim verisini ezberlememek gibi ortak bir aile huyu taşıyor.

Gözle görülür farklar küçük ama kesin: ReLU negatif girdilerin tamamında sıfıra yapışıp orijinde keskin bir dirsek yaparken GELU ve SiLU eksi iki ile sıfır arasında hafifçe sıfırın altına iniyor, köşeyi pürüzsüz ve türevlenebilir bir kavisle yumuşatıyor ve pozitif tarafta girdiden bir parça küçük değerler döndürüyor.

SwiGLU farklı bir oyun oynuyor: yumuşatılmış bir ReLUyu taklit edebildiği gibi parametreleri sayesinde kuzenlerinin ulaşamadığı formlara da girebiliyor, bölümün onu sıradan bir türev değil ailenin esnek ağır sıkleti sayması tam da bu yüzden.

Bölümün vadettiği kazanç genelleme: saçılmış eğitim noktalarına serilen büyük bir ReLU ağı gürültü dahil her noktaya yapışırken aynı kapasite yeni aktivasyonlarla kurulduğunda daha sakin bir orta yol çiziyor ve görülmemiş noktaları tutturma şansı artıyor.

Hikâye 2010 öncesine, sigmoidin hüküm sürdüğü yıllara sarıyor: sıfır-bir aralığındaki çıktısı ateşlenen ya da susan bir nöronu andırıyor, S eğrisi bu iki hal arasındaki geçişi taklit ediyor ve her yerde pürüzsüz olması geri yayılımı kolaylaştırıyordu, sığ ağlar da mutluydu.

Derinlik büyüyü bozdu: sıfırdan uzaklaştıkça sigmoidin eğimi sıfıra yığılıyor, gradyanlar fısıltıya dönüyor, her optimizasyon adımı sürünüyor ve ideal dalgalı uyumu çizmesi gereken ağ, veriyi ıskalayan ürkek bir eğride takılıp klasik yetersiz uyuma düşüyor.

2010 civarı ReLU, şüphe uyandıracak kadar basit kırık bir çizgiyle devraldı: negatifler sıfır oluyor, pozitifler aynen geçiyor, eğim ya sıfır ya bir, böylece büyük girdilerde gradyan canlı kalıyor ve derin yığınlar nihayet eğitilebilir hale geliyor; 2017de ilk Transformerın içindeki taç da bu koşunun zirvesi.

Ama kapasite yeni tuzağa dönüştü: dev bir ReLU ağı artık yetersiz uyum yapmıyor, ezberliyor, örneğin her tuhaflığını sarıp sarmalıyor; ağı küçültmek de gerçek çözüm değil, çünkü yüz binlerce birimlik ağı tek tek deneyerek tatlı noktayı kimse bulamaz.

Bölümün hatırlattığı ilk sistematik çare dropout: eğitim sırasında rastgele birim alt kümeleri susturuluyor, her adım fiilen daha ince bir ağı eğitiyor, tahmin anında ise tam model bu ince ağların ortalaması gibi davranıp yalpalayan ReLU uyumunu ideale yaklaştırıyor; ama bu çarenin iki bedeli var, eğitime cıvatalanan ek mekanizma ve sinyal gücüne körlük, çünkü dropout birimleri girdinin büyüklüğüne bakmadan öldürüyor ve hayatta kalma olasılığını girdiye bağlama fikri tam buradan doğuyor.

Türetme, yüzde elli dropout altındaki tek girdili oyuncak bir ağdan başlıyor, eksi iki girdisi ortalamada eksi bire iniyor, sonra yazı tura yerini bir eğriye bırakıyor: Gauss birikimli eğrisi eksi ikiyi yüzde ikilik yaşama şansıyla eksi sıfır nokta sıfır dörde, eksi biri yüzde on altılık şansla eksi sıfır nokta on altıya bağlıyor, sıfıra sıfır, bire sıfır nokta seksen dört ve ikiye bir nokta doksan altılık noktalar beliren GELU şeklinin üstüne oturuyor ve formül girdinin kendi yaşama olasılığıyla çarpımı olarak özetleniyor.

Çan eğrisi yerine tanıdık sigmoid konulunca SiLU doğuyor, GELUya neredeyse ikiz, benzer bağlamlarda parlıyor ve seçim genelde ekosisteme kalıyor; SwiGLU ise öğrenilir bir ağırlık, Swish benzeri bir kol ve kapı yapısıyla çarpılan ikinci bir izdüşüm ekliyor, makalesi nedensel hikâye sunmayıp yalnızca sonuç veren bu tasarım için sunucu iki tahmin yürütüyor: maliyetli birimler ağı incelmeye zorluyor ve eğitilebilir şekiller kararı ağın kendisine bırakıyor, Meta model ailesinin tercihi de bu bahsin görünen kanıtı.