Comment les LLM fonctionnent vraiment : des tokens à une machine qui devine le mot suivant

Pourquoi le chat semble humain

La vidéo « How Do LLMs Work? » de Techquickie s'ouvre sur une énigme simple : pourquoi une réponse de ChatGPT donne-t-elle parfois l'impression qu'une personne est de l'autre côté ? L'hôte présente le modèle comme un tas de nombres devinant le mot suivant, pourtant il peut écrire des e-mails, organiser des vols et même déceler des failles de sites web une fois ce tas réglé. Pour expliquer ce qui se passe lorsque vous posez une question à ChatGPT ou Claude, la vidéo se tourne vers Colin Kilty, ingénieur senior en apprentissage automatique chez Red Hat, dont la première phrase est désarmante de franchise : les modèles linguistiques sont une boîte noire — l'information entre, l'information sort, ce qui se passe au milieu n'est pas entièrement connu. La vidéo demande ensuite « savons-nous quelque chose ? » et commence à déballer les parties que nous comprenons, comme si l'on apprenait la légende d'une carte avant de la lire.

Les mathématiques du langage : les tokens et une carte conceptuelle

Au cœur se trouve le token, environ quatre caractères transformés en nombres. Chaque token est converti en une liste de nombres et placé sur une immense carte de concepts ; les tokens ayant des significations apparentées sont proches. L'illustration classique est la mer et le lac qui se retrouvent proches car ce sont tous deux de grandes étendues d'eau. Deux termes techniques sont expliqués simplement ici : l'intégration vectorielle (placer chaque token à une coordonnée numérique) et l'espace latent (la carte abstraite où vivent tous les concepts). Pensez-y comme un dictionnaire pour le modèle : le langage devient d'abord des nombres, puis du raisonnement, et les concepts proches restent proches parce que la géométrie capture la similarité. Une fois cette image comprise, le reste du mécanisme devient plus facile à suivre.

Les nombres qui font le gros du travail sont les poids. L'analogie est celle des neurones humains dont les connexions peuvent être plus ou moins fortes ; dans les réseaux artificiels, cette force est un nombre, le poids, et l'ensemble est le « misérable tas » auquel l'hôte ne cesse de revenir. Kilty le dit clairement : les poids incarnent la connaissance que le modèle détient, dérivée de vastes textes humains. Ils sont la matière première de chaque calcul qui transforme votre invite en une réponse, et ils sont la principale chose qui sépare un modèle d'un autre. Surtout, personne n'a codé manuellement la grammaire, le sarcasme ou les particularités de caractère ; ces schémas ont émergé à mesure que les poids se déplaçaient pour mieux prédire ce qui allait suivre.

Une usine d'essais et d'erreurs : l'entraînement

L'entraînement est décrit comme un processus d'essais et d'erreurs à grande vitesse et se décompose en trois étapes : 1) prendre un corpus et masquer le mot suivant, 2) laisser le modèle deviner, 3) ajuster légèrement les nombres vers la bonne réponse lorsqu'il se trompe. Faites cela des milliers de milliards de fois sur une grande partie d'Internet et vous obtenez une machine excellente pour deviner le mot suivant. La vidéo lâche un sec « Ça en vaut la peine. » mais le point est sérieux : le modèle n'apprend pas la vérité absolue, il apprend ce que l'ensemble de tout ce qu'il a lu dit être le plus probable ensuite. À mesure que de plus en plus de données affluent et que les poids continuent de s'ajuster, les suppositions s'améliorent, c'est pourquoi la même architecture semble plus intelligente à plus grande échelle.

Le récapitulatif relie cela à l'inférence, l'acte de répondre à votre invite. Le modèle transforme votre message en nombres, les fait passer à travers son tas de poids ajustés, et calcule le mot suivant le plus probable ; si vous avez posé une question, ce mot est le début de la réponse. Ensuite, il s'exécute à nouveau sur l'invite plus le mot nouvellement généré, et encore, de manière autorégressive, construisant la réponse un token à la fois jusqu'à ce qu'il s'arrête. Le résultat ressemble moins à la sortie garantie d'une calculatrice et plus à Family Feud — l'enquête dit. La grammaire et le ton n'ont jamais été programmés ; ils se sont formés parce qu'ils étaient dans les données et que de meilleures suppositions les exigeaient.

Pourquoi il s'entête quand il a tort

Si la supposition est si bonne, pourquoi confabule-t-il encore ? La vidéo définit l'hallucination non pas comme un mensonge intentionnel mais comme une erreur involontaire de choisir le mauvais token suivant sans contexte approprié. Une fois ce token émis, il fait partie de l'entrée, et le modèle est bloqué sur cette voie. L'hôte le compare à une personne qui a du mal à admettre une erreur et continue de s'entêter ; la machine fait de même, car le mot erroné est maintenant une donnée à partir de laquelle elle doit continuer. Ce même blocage explique pourquoi une contestation inverse souvent la réponse instantanément : votre correction est une nouvelle entrée qui réajuste les probabilités.

C'est là que les modèles de raisonnement aident. Ce sont des systèmes qui montrent une petite phase de « réflexion » avant de répondre, ce que la vidéo présente comme le modèle qui se parle à lui-même un instant pour générer un contexte supplémentaire. Sur des problèmes difficiles, le texte supplémentaire augmente les chances de trouver les bons mots. Que cela compte comme un véritable raisonnement est, selon l'hôte lui-même, une supposition. Les chercheurs essaient d'observer directement ces étapes internes, mais les outils sont encore rudimentaires et ne peuvent pas capturer tout ce qui se passe à travers des milliers de milliards de poids à la fois.

Matière noire : cartographier ce que nous avons construit

La partie la plus sobre concerne l'interprétabilité. Kilty note que nous connaissons les rôles de certaines couches — la couche d'attention qui décide sur quels tokens se concentrer, par exemple — mais la boîte globale reste obscure. Les équipes ouvrent les modèles pour tracer comment les calculs se déplacent, mais une idée n'équivaut pas à un seul endroit. L'exemple classique est un seul endroit dans un modèle de vision qui s'active pour les visages de chats, les avant de voitures et les pattes de chats, un phénomène appelé polysémie ou superposition. Avec des milliers de milliards de poids, le chercheur d'Anthropic qui dirige cette ligne estime qu'une petite fraction seulement a été cartographiée ; le reste est surnommé matière noire. En d'autres termes, les fabricants cartographient toujours la machine qu'ils ont construite, et la carte a beaucoup plus de blanc que d'encre.

La conclusion élève le point de vue de l'ingénierie à la philosophie. Certains chercheurs soutiennent qu'à mesure que les modèles évoluent, ils pourraient converger vers quelque chose comme la vérité universelle de Platon — un espace de pensée où chaque concept qui pourrait exister existe déjà, englobant chaque découverte, formule, preuve et loi de notre univers et de tout autre que nous pourrions encore toucher. Le contre-argument est direct : peut-être n'est-ce qu'une autocomplétion glorifiée. La vidéo est explicite sur le fait qu'il s'agit d'un survol de très haut niveau et renvoie les spectateurs curieux à des articles plus approfondis de son équipe de laboratoire et à un article complémentaire sur l'exécution d'un modèle à la maison. Le message essentiel est compact : nous comprenons les éléments constitutifs — tokens, poids, entraînement, inférence — mais leur somme n'a pas produit une machine pensante, elle a produit une machine à deviner ; l'apparence de la pensée a grandi à mesure que nous l'avons nourrie avec Internet.

En termes simples, la vidéo vous laisse avec une boussole utilisable : demandez à un modèle linguistique la probabilité, pas la certitude, tout comme vous le feriez à une enquête. La carte conceptuelle, l'empilement de poids et la boucle autorégressive expliquent en un seul cadre pourquoi le système est fluide, pourquoi il peut se tromper obstinément et pourquoi l'ajout de contexte le répare souvent. Essayer un petit modèle localement rend ces quatre éléments tangibles, tandis que les coins plus sombres restent un front de recherche actif. Pour la prochaine étape, le chemin suggéré par la vidéo est une curiosité prudente — lire plus en profondeur, tester localement, rester empirique plutôt que mythique.