LoRA: ajustar modelos gigantes con un puñado de números

El primer muro que encuentro cada vez que quiero adaptar un gran modelo de lenguaje a mi propia tarea es el conteo de parámetros: reentrenar miles de millones o incluso billones de pesos es caro e impracticable para la mayoría de los equipos. El vídeo de Luis Serrano desata ese nudo con una sola pregunta: en lugar de cazar una aguja en un espacio gigantesco, ¿podríamos buscar en un pajar mucho más pequeño donde la aguja probablemente esté? Su respuesta es LoRA, la adaptación de bajo rango: congelar los pesos preentrenados e insertar pequeñas matrices factorizadas entrenables en cada capa. Mi primera reacción fue dudar de que tan poco pudiera hacer tanto; el vídeo me convenció paso a paso.

Serrano empieza haciendo intuitiva la dimensionalidad: cero dimensiones es un punto, una dimensión es ir y venir a lo largo de una línea, dos es vagar por un plano en dos direcciones independientes, tres es vivir dentro de un volumen. El conteo de direcciones de movimiento independientes da los grados de libertad, y la mayor parte del aprendizaje automático se desarrolla en espacios de miles, millones o, en el caso de los modelos de lenguaje, miles de millones de dimensiones. A esa escala, buscar por todas partes deja de significar algo, así que una restricción inteligente se vuelve una necesidad en lugar de un lujo. Su parábola del bosque aterriza justo ahí: en lugar de peinar un bosque bidimensional en busca de un tesoro, tiende un raíl unidimensional que lo atraviese con astucia y llegarás al vecindario mucho antes. Una restricción bien elegida se lee como ganancia, no como pérdida.

La afirmación central de LoRA es fácil de enunciar: en lugar de vagar sin rumbo por el espacio de pesos de alta dimensión, encontrar un buen camino de baja dimensión que lo atraviese y cubra aún así una gran parte del espacio. Recorrer ese camino cuesta mucho menos, y si el camino fue elegido con sabiduría, el destino queda lo bastante cerca del modelo ideal. Imagina cazar un tesoro dentro de un cubo gigante mientras estás confinado a una superficie hábilmente colocada que lo corta. La condición previa crítica es la confianza: el método asume que el modelo de partida ya está en algún lugar bueno. Ejecutar LoRA sobre pesos inicializados al azar se parece a tender raíles en una esquina aleatoria del bosque, mientras que raíles tendidos junto a un modelo entrenado recorren las alturas que ese modelo ya descubrió.

Para hacer concreta la idea, el vídeo recurre a un modelo de juguete entrenado en dos frases: Mary saluda a Bob con calidez, y Bob deja el saludo en el aire. La red debe predecir la siguiente palabra, y una arquitectura de cuatro entradas, dos unidades ocultas y cuatro salidas lo logra. Su primera mitad se comporta como un comprensor, incrustando cuatro palabras en un espacio bidimensional, mientras que la segunda mitad habla desde esa incrustación. Tras el entrenamiento, las palabras se asientan en las esquinas de un cuadrado: un eje separa los verbos de las personas, el otro a los amistosos de los antipáticos. El detalle que me impactó es la persistencia de esa estructura: ejecuciones repetidas rotan el cuadrado pero nunca lo rompen, pues el modelo sigue redescubriendo las mismas relaciones.

Ajustar este modelo de juguete significa desplazar ocho pesos, que es exactamente lo mismo que arrastrar cuatro puntos de esquina libremente por el plano. Cada punto se mueve horizontal y verticalmente por su cuenta, dando ocho grados de libertad que corresponden uno a uno con los ocho pesos de la red. Pedir un modelo ligeramente mejor se traduce en cazar una nueva posición en un espacio de ocho dimensiones, y en modelos de miles de millones de parámetros ese número se vuelve astronómico. La ecuación que el vídeo construye aquí es nítida: el conteo de parámetros iguala la dimensionalidad del espacio de búsqueda. La única manera de recortar la factura es recortar la dimensionalidad.

La manera más llana de recortarla es una restricción: forzar a que algunas actualizaciones de pesos se igualen entre sí. En el ejemplo del vídeo, los dos valores de actualización de cada punto quedan atados, ocho parámetros colapsan a cuatro, y los puntos ahora solo pueden deslizarse por las diagonales. El rango de vagabundeo se encogió, pero también el territorio que buscar; el acierto perfecto se pierde a menos que el modelo ideal esté sobre una diagonal, aunque una sólida aproximación permanece. Nombrar a los supervivientes A, B, C y D da la cara algebraica de la idea. El trato se lee abiertamente: rendir la plena libertad, embolsarse la velocidad y la baratura, y esperar que el objetivo esté lo bastante cerca.

Las diagonales son solo un disfraz del mismo truco, y el vídeo desfila varios otros. Buscar a través de ambas diagonales a la vez, cazar dentro de la familia de todos los rectángulos con solo dos parámetros de ancho y alto, o fijar los puntos a un círculo y optimizar cuatro ángulos expresan todos una misma lógica. El caso del rectángulo enseña lo más: desconfiar del cuadrado exacto pero confiar en su rectangularidad, y luego buscar el mejor rectángulo de todos. Cada estilo de restricción expresa un sabor distinto de confianza en el modelo: mantener intacta la estructura que encontró, y vagar entre combinaciones de esa estructura. El álgebra cambia, la filosofía se queda quieta.

Generalizar las diagonales introduce la pendiente: dos parámetros frescos para subida y avance llevan el total a seis. Sin embargo, una elegante redundancia se esconde dentro, pues fijar una línea solo necesita la razón de los dos, no cada valor por separado. Fijando la base en uno, la pendiente se comprime en un solo número M, así que el conteo cae a cinco en lugar de seis. El caso límite de progreso horizontal cero molestaría a un matemático, pero entre miles de parámetros la probabilidad de aterrizar exactamente en cero es despreciable en la práctica. Me encantó este pequeño truco contable porque anticipa una redundancia idéntica dentro de la fórmula real de LoRA.

A mitad de camino, los puntos salen del escenario y aparece la famosa fórmula: delta W igual a A por B. Serrano la lee casi poéticamente: delta W cuenta una larga historia, y A con B es su resumen. La demostración concreta usa una matriz de tres por tres cuyas filas se repiten entre sí escaladas, así que nueve números se comprimen en mucha menos información. El producto exterior de dos vectores reconstruye la misma matriz mientras el mundo de nueve dimensiones se encoge a seis. El mensaje es luminoso: objetos grandes llenos de dependencias pueden resumirse en factores pequeños. Llevar el resumen de una matriz de actualización en lugar de la cosa entera es el corazón algebraico de LoRA.

Desde ahí el vídeo entra en el rango: el rango de una matriz cuenta sus filas de información independientes. Una matriz construida a partir de copias escaladas de una sola fila tiene rango uno; una matriz cuyas filas cuentan cada una una historia nueva tiene rango tres. La analogía se pega: oír el precio de dos manzanas tras aprender el precio de una no añade nada, mientras que los precios del plátano y del melón exigen cada uno su propia línea. Las matrices aleatorias corren a rango pleno casi con seguridad, sin ofrecer dependencias afortunadas, pero el rescate es que cualquier matriz puede aproximarse por una de bajo rango, alcanzada mejor mediante la descomposición en valores singulares. Mantener el rango bajo significa encoger el tamaño mientras se mantiene la pérdida de información bajo control.

La cara geométrica del rango es el pasaje más fuerte del vídeo. Las filas de una matriz de rango dos apuntan en dos direcciones planas distintas, y avanzar a lo largo de ellas, hacia atrás cuando haga falta, alcanza cada punto del plano; los matemáticos llaman span al conjunto alcanzado. En una matriz de rango uno ambos vectores se aferran a una sola línea, y nada escapa jamás de ella. Ascender a tres dimensiones completa el cuadro: tres vectores independientes encierran volumen para el rango tres, vectores atrapados en un plano por una relación de suma dan rango dos, y una dirección unánime deja una sola línea en el rango uno. Cuanto más alto el rango, más grande el espacio abarcado, y LoRA encarcela deliberadamente sus actualizaciones en uno pequeño.

El acto final cambia el juguete por una capa de red genuina: cuatro nodos a la izquierda, cinco a la derecha, veinte parámetros en total. Un paso de descenso de gradiente produce una matriz de actualización de cuatro por cinco, y LoRA niega que esta matriz necesite veinte grados de libertad: un buen modelo implica dependencias entre sus actualizaciones. Factorizar la matriz en una columna de cuatro entradas por una fila de cinco entradas aterriza en nueve parámetros. Además regresa la redundancia de pendiente: escalar la columna hacia arriba mientras se escala la fila hacia abajo no cambia nada, así que un parámetro más cae y quedan ocho. La lectura geométrica impresiona: cazar un tesoro a través de una extensión de veinte dimensiones mientras se está confinado a una cámara de ocho dimensiones hábilmente colocada.

La fórmula general cabe en una línea: una matriz de m por n se aproxima como el producto de una matriz de m por k y una de k por n, con k elegido minúsculo junto a m y n. El conteo cae de m por n a m por k más n por k, y un k más pequeño significa mayores ahorros. Las cifras del artículo original muestran que la afirmación es seria: a escala de GPT-3 con 175 mil millones de parámetros, los pesos entrenables se encogen diez mil veces, la demanda de memoria cae a un tercio, y la calidad iguala el fine-tuning completo. El vídeo de Serrano enseña todo esto mediante intuición geométrica en lugar de ejercicios de fórmulas, lo que lo sitúa entre los mejores explicadores del género. La frase en mi cuaderno dice: buscar junto a un buen modelo siempre cuesta menos que buscar en un vacío desierto.