MIT Ölçek Duvarını Hesapladı: LLM'ler Neden Daha Geniş Olunca Daha Akıllı Olmuyor ve Para Neden Yetmiyor

Videonun açılışındaki hikâye tanıdık: GPT-1 küçük bir nokta gibiydi, bir yıl sonra GPT-2 gözle görünür büyüdü, ardından GPT-3, ChatGPT'nin ilk sürümüne güç veren dev, hepsini gölgede bıraktı. Performans da boyutla birlikte tırmandı ve sektör tek bir dersi ezberledi: daha büyük her zaman daha iyi, çok daha büyük ise çok daha iyi. Modeller öz-denetimli öğrenme ile eğitiliyor; bu yöntem etiket maliyetini neredeyse sıfıra indiriyor ve Wikipedia'nın tamamı, yüz binlerce kitap ile internetin filtrelenmiş büyük kısmını tek seferde yutmaya izin veriyor. Bu devasa okumadan sonra ortaya çıkan şey, kimse tek bir dilbilgisi kuralı öğretmediği hâlde her sözcüğün diğer sözcüklerle ilişkisini kodlayan dev bir matematiksel harita oluyor.

Genişlik neden yetmiyor: 50 bin kavram, birkaç bin boyut

İdeal bir modelde yaklaşık 50 bin sözcük ve kavramın her biri için geometrik uzayda tamamen bağımsız bir yön ayrılmış olurdu; bu sayı bile temkinli bir alt sınır. Gerçekte ise bu uzayın genişliği, araştırmacıların boyut dediği iç genişlik, genelde birkaç bin birimde kalıyor; GPT-3 ölçeğinde bile 12 bini biraz aşıyor. Eskiden kapasite dolunca modelin değersiz gördüklerini sessizce elediği düşünülürdü. 2022'de Anthropic'in oyuncak modelle gösterdiği tablo ise farklı: model kavramları elemek yerine aynı yönlere üst üste sıkıştırıyor. Buna süperpozisyon deniyor. Pratikte muz, fil, ranza, balon ve noktalı virgül gibi alakasız öğeler neredeyse aynı yöne düşebiliyor. Bu düzen, her kavramın cümle içinde aynı anda gerekmemesi sayesinde bir süre idare ediyor; tıpkı kalabalık bir dolapta her kıyafetin aynı anda giyilmemesi gibi.

Çakışma bedava değil. Model fil kavramını uyarmak istediğinde, aynı yöne sıkışmış diğer kavramlar da hafifçe ateşleniyor ve anlamlar birbirine bulaşıyor. Araştırmacılar bu bulaşmaya girişim adını veriyor. Girişim, bazen hafifçe kaymış bir sözcük seçimine, bazen de tamamen yanlış bir tahmine dönüşüyor. Yani hataların önemli bir kısmı kapasite eksikliğinden değil, yönlerin üst üste binmesinden kaynaklanıyor. Daha net görmek için mekanizmayı üç adımda düşünün: 1) kavramlar sınırlı boyuta sıkışır, 2) vektörler arası açı daralır, 3) eş-zamanlı aktivasyonlar karışır. Her adım, modelin sözcük haritasındaki gürültüyü biraz daha artırıyor.

Tek formül: genişlik iki kat, hata yarı yarıya

MIT ekibinin işaret ettiği formül sade: genişliği iki katına çıkarırsan girişim yarıya iner ve girişimden kaynaklanan hata da yarıya iner. Geniş bir matematiksel uzay, aynı kalabalık kavram kümesini daha seyrek yaymaya izin verdiği için büyük modeller daha iyi görünüyor. Sektör de tam bunu yaptı ve altı yıldır aynı kaldıracı çekiyor. Ancak yayma işlemi bir gün tamamlanıyor: her kavrama nihayet bağımsız bir yön verecek kadar alan açıldığında, üst üste binme kalmıyor, azaltacak girişim de kalmıyor. O noktadan sonra genişliği artırmak hiçbir şey satın almıyor; tavan bu.

Tavana varmadan bile üç fren devreye giriyor ve ilki para. Girişimi yarıya indirmek için genişliği ikiye katlamak gerekiyor, fakat her iki katlamada eğitim faturası en iyimser hesapla 6 kat artıyor. Bugün bir sınır modelinin maliyeti yaklaşık 300 milyon dolar kabul edilirse, bir katlama 1,8 milyar, ikincisi 11 milyar, üçüncüsü 65 milyar, dördüncüsü 390 milyar dolar ediyor; OpenAI veya Google için bile saçma bir skala. Diyelim ki enerji bedava oldu ve para sorunu buharlaştı; yine de hatanın düşüş hızı değişmiyor. Çünkü üs, insan dilinin istatistiğine kilitli. Zipf yasası diyor ki dilde çok az sözcük çok sık kullanılır ve, ise, o gibi parçacıklar, çok sayıda sözcük ise fotosentez veya kaleydoskop gibi nadiren görülür. Bu dengesiz dağılım, 1/bölü-genişlik üssünü sabitliyor ve daha hızlı iyileşmeye izin vermiyor.

Sıfıra inmeyen hata ve mutlak tavan

Üçüncü fren, dilin doğasından: dil 2 artı 2 eşittir 4 gibi tek cevaplı bir denklem değil. Günlük konuşmada Ben gerçekten severim dedikten sonra gelen sözcük kedi, köpek veya pizza olabilir; eğitim verisinde tek doğru yok. Bu belirsizlik indirgenemez ve toplam hatanın sıfıra extrapole edilmesini engelliyor. Araştırmacılar kaybı kabaca model boyutuna bağlı kısım artı sabit belirsizlik olarak yazıyor ve gerçek modellerin kaybını 1/bölü-genişlik doğrusuna yakın buluyor. Chinchilla ölçek yasalarıyla da uyumlu: parametre sayısı genişliğin yaklaşık 2,52 kuvvetiyle ölçeklendiği için parametreye göre üs 0,35 iken genişliğe göre üs 0,88-0,91 çıkıyor; yani 1'e yakın. Model ne kadar büyürse büyüsün, girişim kaynaklı kısım erise bile dilin içsel çok-anlamlılığı taban olarak kalıyor.

Tavanı somutlaştıran eşik, genişliğin kelime haznesindeki gerçekten bağımsız öğe sayısına yetişmesi. Kabaca 50 bin bağımsız yön gerekirken elimizde 12 bin varsa süperpozisyon yoğun. MIT/NeurIPS oyuncak deneylerinde zayıf süperpozisyon rejiminde kayıp yalnızca frekans dağılımı güç yasası ise güç yasası oluyor; güçlü süperpozisyon rejiminde ise kayıp geometrik çakışmadan doğuyor ve geniş dağılım ailesinde sağlam biçimde 1/bölü-genişlik izliyor. Açık kaynaklı modellerin son katman ağırlıklarının normalleştirilmiş satırları arasındaki ortalama kare çakışma 1/bölü-genişlik ile ölçekleniyor ve modeller güçlü rejimde çalışıyor. Bu yüzden genişlik sözcük haznesini yakaladığı gün, sistemin süperpozisyonu biter ve ek genişlik boşa gider. O güne kadar her iki katlama yarı yarıya iyileşme verse de, aynı yarı iyileşme için ödenen bedel katlanarak artıyor.

Metnin ötesi: dünyayı gören modeller

Peki ölçek duvarı aşılmazsa sırada ne var? Videonun son bölümünün işaret ettiği yanıt, metin dışı öğrenme: videodan ve duyulardan öğrenen dünya modelleri. Fikir, beynin öngörülü kodlamasına benziyor; gelecek kareyi tahmin etmek yerçekimi, akışkan dinamiği, katı cisim çarpışması gibi fizik sezgilerini öğrenmeye zorluyor. OpenAI'nin Sora'sı bunu görsel yamalara dönüştürerek yapıyor; büyük dil modellerinde metin jetonları neyse, Sora'da uzay-zaman yamaları o. Ne var ki Physics-IQ gibi 396 videoluk kontrollü testler, Sora, Runway, Pika, Lumiere ve VideoPoet gibi güncel video üreticilerinin fizik anlayışının görsel gerçekçilikten kopuk ve hâlâ zayıf olduğunu gösteriyor; en iyi skor 29,5 iken gerçek dünya değişkenliği 100. Sentez veriler fizik kurallarının gözetimle öğrenilebileceğine işaret etse de, izlemekle yetinmek nedenselliği öğretmiyor. Bu yüzden yeni öneriler, ağırlıkları birim küreye kısıtlayan nGPT gibi mimarilerle süperpozisyonu bilinçli teşvik edip küçük modelleri daha verimli kılmayı veya etkileşimli eğitimi tartışıyor.