Optimización de LLM y el mito de la adivinanza

Cada palabra de un gran modelo de lenguaje resulta de pequeños ajustes de peso destinados a reducir la pérdida en los datos de entrenamiento.

Estas actualizaciones de peso son producidas por algoritmos de optimización como el descenso de gradiente.

El descenso de gradiente sigue la pendiente de una función hacia abajo para buscar un mínimo.

Los problemas de optimización del mundo real a menudo involucran millones de variables y restricciones.

El entrenamiento de los LLM aplica principios similares pero con billones de parámetros.

La historia de la optimización comienza con el método de Newton, la búsqueda en sección dorada y el método del simplexe.

La optimización restringida utiliza multiplicadores de Lagrange y las condiciones KKT.

Los polinomios de Chebyshev son preferidos cuando se minimiza el error en el peor caso.

Estos conceptos aparecen en el aprendizaje profundo para el ajuste de hiperparámetros y la cuantización de pesos.

Las salidas de los LLM no son aleatorias; están formadas por los pesos aprendidos durante el entrenamiento.