LLM Optimizasyonu ve Tahmin Yalanı

Her LLM kelimesi, örnekler üzerindeki kaybı azaltmak üzere ağırlıklarındaki küçük değişikliklerin sonucudur.

Bu ağırlık güncellemeleri, gradyan inişi gibi optimizasyon algoritmalarıyla yol açar.

Gradyan inişi, fonksiyonun eğimini aşağıya doğru izleyerek en küçük değeri bulmaya çalışır.

Gerçek dünyadaki optimizasyon problemleri genellikle milyarlarca değişkene ve sınırlamelere sahiptir.

LLM eğitimi, bu zorluklara rağmen benzer ilkeleri trilyonlarca parametre üzerinde uygular.

Optimizasyonun tarihi, Newton şiçlesi, Golden section araması ve simpleks yöntemiyle başlar.

Kısıtlı optimizasyon için Lagrange çarpanları ve KKT koşulları kullanılır.

En kötü durum hatasını minimise etmek için Tschebyshev polinomları tercih edilir.

Bu yöntemler, derin öğrenmede hiperparametre ayarı ve ağırlık kuantizasyonunda yer alır.

LLM'lerin çıktısı rastgele değil; öğrenme sürecindeki ağırlıklar tarafından şekillenir.