Sonraki Kelime Oyunu: Büyük Dil Modelleri Nasıl Çalışıyor

Grant Sanderson bir düşünce deneyiyle açıyor: replikleri eksik bir film senaryosu ile makul devamları tahmin eden hayali bir motor düşünün. Parçayı verin, motorun tahminini alın, metne ekleyin, tekrarlayın; her sohbet robotu etkileşiminin arkasındaki döngünün minyatürü elinizde.

Bir dil modeli tek bir devama asla kilitlenmez; inancını olasılıklar halinde tüm sözlüğe yayar. Geliştiriciler bu çekirdeği bir diyalog şablonuyla sarar, sonra hep en üst adayı almak yerine dağılımdan örnekleme yapar; sabit bir modelin her çalıştırmada sizi şaşırtması bu yüzden.

Bu olasılık yargıları internet ölçeğinde metinle kazanılıyor. GPT-3 derlemini gece gündüz okumak bir insanın iki buçuk bin yılından fazlasını alırdı; o zamandan beri sınırdaki eğitim çalışmaları bunun çok ötesine geçti.

Eğitim bir ayar işi olarak çerçeveleniyor: modelin ürettiği her olasılığa yüz milyarlarca sürekli değer, yani parametre karar veriyor. Bunları kimse eliyle kurmuyor; rastgele başlıyorlar, model saçmalıyor, her metin örneği onları biraz daha iyi tahminlere doğru itiyor.

Bu itmenin bir adı var, geri yayılım: parçanın son kelimesini gizle, modelin tahminini gerçekle karşılaştır, ağırlıkları gerçek sona doğru kaydır. Trilyonlarca parça boyunca tekrarlanınca sistem hiç görmediği parçalarda da makul tahminler üretmeye başlıyor.

Aritmetik fatura hayal gücünü zorluyor: saniyede bir milyar işlem yapsanız yine yüz milyon yıl mertebesinde süre gerekir. Bu yalnızca ön eğitimin bedeli; rastgele internet metnini tamamlamak ile kullanıcıya asistanlık etmek farklı hedefler, bu yüzden insan geri bildirimiyle pekiştirmeli öğrenme denen ikinci aşama ham tamamlayıcıyı asistana dönüştürüyor.

Bunların hiçbiri grafik işlemciler olmadan koşmaz ve her tasarım bunlardan yararlanamaz: 2017 öncesi modeller kelimeleri sırayla çiğnerken Google ekibinin tanıttığı transformer metnin tamamını aynı anda soğuruyor. Kelimeler sayı listelerine dönüşüyor, attention bu listelerin çevre bağlamdan anlam müzakere etmesini sağlıyor; kıyıdaki banka mı finansal banka mı, bağlam karar veriyor. İleri beslemeli katmanlar hafıza ekliyor, zenginleşen son vektör sıradaki kelimeye oy veriyor. Çerçeve mühendislik ürünü ama içinden düşen akıcılık değil; tek bir cevabın nedenini geriye doğru sürmek bu yüzden bu kadar zor.