Le jeu du mot suivant : comment fonctionnent les grands modèles de langage

Grant Sanderson ouvre avec une expérience de pensée : un scénario de film où les répliques de l'assistant manquent, plus un moteur hypothétique qui devine des suites plausibles. On injecte le fragment, on prend la devinette du moteur, on l'ajoute, on répète, et l'on obtient, en miniature, la boucle derrière chaque échange avec un chatbot.

Un LLM ne s'engage jamais sur une seule suite ; il répartit sa croyance sur tout le vocabulaire sous forme de probabilités. Les concepteurs enveloppent ce cœur dans un gabarit de dialogue, puis échantillonnent la distribution au lieu de toujours prendre le candidat le mieux classé, ce qui explique qu'un modèle figé vous surprenne encore à chaque relance.

Ces jugements probabilistes sont acquis sur du texte à l'échelle d'internet. Lire le corpus de GPT-3 jour et nuit occuperait un humain pendant plus de deux millénaires et demi, et les entraînements de pointe depuis ont dépassé de loin ce volume.

L'entraînement est présenté comme un réglage : des centaines de milliards de boutons continus déterminent chaque probabilité émise par le modèle. Personne ne les règle à la main ; ils démarrent aléatoirement, produisant du charabia, et chaque exemple de texte les pousse d'une fraction vers de meilleures prédictions.

Cette poussée porte un nom, la rétropropagation : masquer le dernier jeton d'un passage, comparer la prédiction du modèle à la vérité, déplacer les poids vers la vraie fin. Répété sur des milliers de milliards de passages, le système finit par traiter des passages qu'il n'a jamais rencontrés.

La facture arithmétique est difficile à imaginer : un milliard d'opérations par seconde exigerait encore de l'ordre de cent millions d'années. Cela ne couvre que le pré-entraînement, car compléter du texte internet aléatoire est un objectif différent de celui d'assister un utilisateur ; une seconde étape, l'apprentissage par renforcement à partir de retours humains, transforme le compléteur brut en quelque chose qui se comporte comme un assistant.

Rien de tout cela ne tourne sans processeurs graphiques, et tous les modèles n'en tirent pas parti : les modèles d'avant 2017 avalaient les mots dans l'ordre, jusqu'à ce que le transformeur, introduit par une équipe de Google, absorbe des passages entiers côte à côte. Les mots deviennent des listes de nombres, l'attention permet à ces listes de négocier le sens à partir du contexte environnant — un sens de « rive » plutôt que de « banque » —, les couches feed-forward ajoutent de la mémoire, et le vecteur final enrichi vote sur ce qui vient ensuite. Le cadre est conçu, mais la fluidité qui en découle ne l'est pas, c'est pourquoi remonter une réponse quelconque à ses causes reste si difficile.