LoRA : régler des modèles géants avec une poignée de nombres

Le premier mur que je rencontre chaque fois que je veux adapter un grand modèle de langage à ma propre tâche, c'est le nombre de paramètres : réentraîner des milliards, voire des milliers de milliards de poids est coûteux et impraticable pour la plupart des équipes. La vidéo de Luis Serrano dénoue ce nœud avec une seule question : au lieu de chercher une aiguille dans un espace gigantesque, pourrions-nous fouiller une bien plus petite botte de foin où l'aiguille se trouve probablement ? Sa réponse est LoRA, l'adaptation de faible rang : geler les poids préentraînés et insérer de petites matrices factorisées entraînables dans chaque couche. Ma première réaction fut le doute qu'autant de peu puisse faire autant ; la vidéo m'a convaincu pas à pas.

Serrano commence par rendre la dimensionnalité intuitive : zéro dimension est un point, une dimension c'est faire la navette le long d'une ligne, deux c'est errer dans un plan selon deux directions indépendantes, trois c'est vivre dans un volume. Le nombre de directions de mouvement indépendantes donne les degrés de liberté, et l'essentiel de l'apprentissage automatique se déroule dans des espaces de milliers, de millions, ou dans le cas des modèles de langage de milliards de dimensions. À cette échelle, chercher partout ne veut plus rien dire, si bien qu'une restriction intelligente devient une nécessité plutôt qu'un luxe. Sa parabole de la forêt tombe exactement là : plutôt que de peigner une forêt bidimensionnelle à la recherche d'un trésor, posez un rail unidimensionnel qui la traverse astucieusement et vous atteindrez le voisinage bien plus tôt. Une contrainte bien choisie se lit comme un gain, non comme une perte.

L'affirmation centrale de LoRA s'énonce facilement : au lieu d'errer sans but dans l'espace des poids de grande dimension, trouver un bon chemin de faible dimension qui le traverse tout en couvrant une large part de l'espace. Parcourir ce chemin coûte bien moins cher, et si le chemin a été choisi avec sagesse, la destination se situe assez près du modèle idéal. Imaginez chercher un trésor dans un cube géant tout en étant confiné à une surface savamment placée qui le tranche. La condition préalable critique est la confiance : la méthode suppose que le modèle de départ se trouve déjà quelque part de bon. Exécuter LoRA sur des poids initialisés aléatoirement ressemble à poser des rails dans un coin au hasard de la forêt, tandis que des rails posés à côté d'un modèle entraîné arpentent les hauteurs que ce modèle a déjà découvertes.

Pour rendre l'idée concrète, la vidéo se tourne vers un modèle-jouet entraîné sur deux phrases : Mary salue Bob chaleureusement, et Bob laisse la salutation en suspens. Le réseau doit prédire le mot suivant, et une architecture de quatre entrées, deux unités cachées et quatre sorties y parvient. Sa première moitié se comporte comme un compreneur, plongeant quatre mots dans un espace bidimensionnel, tandis que la seconde moitié parle à partir de ce plongement. Après l'entraînement, les mots se stabilisent aux coins d'un carré : un axe sépare les verbes des personnes, l'autre les amicaux des inamicaux. Le détail qui m'a frappé est la persistance de cette structure : des exécutions répétées font tourner le carré mais ne le brisent jamais, le modèle ne cessant de redécouvrir les mêmes relations.

Régler ce modèle-jouet signifie déplacer huit poids, ce qui revient exactement à faire glisser quatre points d'angle librement dans le plan. Chaque point se déplace horizontalement et verticalement de son côté, donnant huit degrés de liberté qui correspondent un à un aux huit poids du réseau. Demander un modèle légèrement meilleur se traduit par la chasse à une nouvelle position dans un espace à huit dimensions, et dans les modèles à milliards de paramètres ce nombre devient astronomique. L'équation que la vidéo construit ici est nette : le nombre de paramètres égale la dimensionnalité de l'espace de recherche. La seule façon de réduire la facture est de réduire la dimensionnalité.

La manière la plus simple de la réduire est une restriction : forcer certaines mises à jour de poids à s'égaliser. Dans l'exemple de la vidéo, les deux valeurs de mise à jour de chaque point sont liées entre elles, huit paramètres s'effondrent à quatre, et les points ne peuvent désormais glisser que le long des diagonales. L'aire de vagabondage a rétréci, mais le territoire à fouiller aussi ; la frappe parfaite est perdue à moins que le modèle idéal ne se trouve sur une diagonale, pourtant une solide approximation demeure. Nommer les survivants A, B, C et D donne la face algébrique de l'idée. Le marché se lit à découvert : abandonner la pleine liberté, empocher la vitesse et l'économie, et espérer que la cible se trouve assez près.

Les diagonales ne sont qu'un costume du même tour, et la vidéo en parade plusieurs autres. Chercher à travers les deux diagonales à la fois, chasser dans la famille de tous les rectangles à seulement deux paramètres de largeur et de hauteur, ou épingler les points sur un cercle et optimiser quatre angles expriment tous une même logique. Le cas du rectangle enseigne le plus : se méfier du carré exact mais se fier à sa rectangularité, puis chercher le meilleur rectangle de tous. Chaque style de restriction exprime une saveur différente de confiance dans le modèle : garder intacte la structure qu'il a trouvée, et vagabonder parmi les combinaisons de cette structure. L'algèbre change, la philosophie reste immobile.

Généraliser les diagonales introduit la pente : deux paramètres frais pour la montée et la course portent le total à six. Pourtant une redondance gracieuse s'y cache, car épingler une ligne ne nécessite que le rapport des deux, non chaque valeur séparément. En fixant la base à un, la pente se comprime en un seul nombre M, si bien que le compte tombe à cinq plutôt qu'à six. Le cas limite d'un progrès horizontal nul troublerait un mathématicien, mais parmi des milliers de paramètres la chance d'atterrir exactement sur zéro est négligeable en pratique. J'ai adoré ce petit tour de passe-passe comptable parce qu'il préfigure une redondance identique à l'intérieur de la vraie formule de LoRA.

À mi-chemin, les points quittent la scène et la fameuse formule apparaît : delta W égale A fois B. Serrano la lit presque poétiquement : delta W raconte une longue histoire, et A avec B en est le résumé. La démonstration concrète utilise une matrice trois par trois dont les lignes se répètent l'une l'autre à l'échelle, si bien que neuf nombres se compriment en bien moins d'information. Le produit extérieur de deux vecteurs reconstruit la même matrice tandis que le monde à neuf dimensions rétrécit à six. Le message est lumineux : de grands objets pleins de dépendances peuvent être résumés par de petits facteurs. Porter le résumé d'une matrice de mise à jour plutôt que la chose entière est le cœur algébrique de LoRA.

De là, la vidéo entre dans le rang : le rang d'une matrice compte ses lignes d'information indépendantes. Une matrice construite à partir de copies à l'échelle d'une seule ligne porte le rang un ; une matrice dont les lignes racontent chacune une histoire neuve porte le rang trois. L'analogie s'imprime : entendre le prix de deux pommes après avoir appris le prix d'une n'ajoute rien, tandis que les prix de la banane et du melon exigent chacun leur propre ligne. Les matrices aléatoires courent au rang plein presque sûrement, n'offrant aucune dépendance chanceuse, mais le salut est que toute matrice peut être approchée par une matrice de faible rang, atteinte au mieux par la décomposition en valeurs singulières. Maintenir le rang bas signifie rétrécir la taille tout en gardant la perte d'information sous contrôle.

La face géométrique du rang est le passage le plus fort de la vidéo. Les lignes d'une matrice de rang deux pointent dans deux directions planaires distinctes, et marcher le long d'elles, à reculons si besoin, atteint chaque point du plan ; les mathématiciens appellent l'ensemble atteint l'espace engendré. Dans une matrice de rang un, les deux vecteurs s'accrochent à une seule ligne, et rien ne s'en échappe jamais. Monter à trois dimensions achève le tableau : trois vecteurs indépendants enferment un volume pour le rang trois, des vecteurs piégés dans un plan par une relation de somme donnent le rang deux, et une direction unanime laisse une seule ligne au rang un. Plus le rang est haut, plus l'espace engendré est grand, et LoRA emprisonne délibérément ses mises à jour dans un petit.

L'acte final échange le jouet contre une vraie couche de réseau : quatre nœuds à gauche, cinq à droite, vingt paramètres au total. Une étape de descente de gradient produit une matrice de mise à jour quatre par cinq, et LoRA nie que cette matrice ait besoin de vingt degrés de liberté : un bon modèle implique des dépendances parmi ses mises à jour. Factoriser la matrice en une colonne de quatre entrées fois une ligne de cinq entrées atterrit à neuf paramètres. De plus la redondance de pente revient : agrandir la colonne tout en rapetissant la ligne ne change rien, si bien qu'un paramètre de plus tombe et il en reste huit. La lecture géométrique impressionne : chasser un trésor à travers une étendue à vingt dimensions tout en étant confiné à une chambre à huit dimensions savamment placée.

La formule générale tient en une ligne : une matrice m par n est approchée comme le produit d'une matrice m par k et d'une matrice k par n, avec k choisi minuscule à côté de m et n. Le compte tombe de m fois n à m fois k plus n fois k, et un k plus petit signifie des économies plus grandes. Les chiffres du papier original montrent que l'affirmation est sérieuse : à l'échelle de GPT-3 avec 175 milliards de paramètres, les poids entraînables rétrécissent dix mille fois, la demande de mémoire tombe au tiers, et la qualité égale le fine-tuning complet. La vidéo de Serrano enseigne tout cela par l'intuition géométrique plutôt que par des exercices de formules, ce qui la classe parmi les meilleurs explainers du genre. La phrase dans mon carnet dit : chercher à côté d'un bon modèle coûte toujours moins cher que chercher dans un vide désert.