Un Quadro à 19 dollars comme moteur de texte : de l'IA sérieuse sans carte amirale

Le contraste entre cartes coûteuses et cartes bon marché est le point de départ. D'un côté, une étiquette de 7 000 dollars pour le fleuron actuel, de l'autre un Quadro K4000 de l'ère Kepler trouvé d'occasion pour moins de vingt dollars. TechPowerUp décrit cette carte avec 768 cœurs CUDA et 3 Go de mémoire. Rester en dehors des bibliothèques actuelles ne la rend pas sans valeur, car la comparaison frappe : cette petite carte surpasse les systèmes Cray que l'auteur programma dans sa jeunesse. Wikipedia rappelle que la lignée Cray T3E franchit 1 téraflop sur une application réelle en 1998. Côté Nvidia, la RTX 5090 avec 32 Go de mémoire et une conception Blackwell marque le sommet, mais l'auteur soutient que la course au modèle prêt à l'emploi n'est pas la seule voie.

Vectorfall est la plateforme bâtie pour mettre ces cartes bon marché au travail. L'auteur a écrit en C une pile logicielle réglée à la main et l'a fixée à des versions anciennes. Tester autant de logiciel en peu de temps fut possible à une seule personne grâce à une aide IA qui accélère les tâches ingrates, comme la chasse aux fuites de mémoire dans des programmes C. Connaître le matériel visé en profondeur reste la part humaine, et c'est là que demeure le plaisir. Aucun modèle prêt à l'emploi ne fut attendu ; une voie neuve fut ouverte dans les limites de la carte.

Le moteur de texte : recherche en millisecondes et traçage des sources

Le recueil du moteur de texte rassemble environ 200 000 mots tirés des livres de l'auteur. Après le chargement, presque chaque opération tourne sur le processeur graphique, tandis qu'un vieux système à double Xeon héberge seulement l'ensemble. Les réponses de recherche arrivent en quelques millisecondes car le texte est réparti sur les cœurs de la carte. Un nom comme celui du général Jack Shanahan peut être cherché et retracé : la phrase exacte est montrée là où elle figure. Chaque résultat renvoie à sa source précise, ce qui distingue l'ouvrage d'une pratique de modèle en boîte noire.

L'approche de Markov agit comme un tableau qui compte les transitions de mots : la fréquence avec laquelle le mot B suit le mot A est relevée dans tout le recueil. Il en sort un graphe de liaisons où le voisinage de chaque terme peut être examiné. En mode de production, une phrase d'amorce est prolongée depuis ce tableau, et chaque mot renvoie au lieu de sa première occurrence. ScienceInsights décrit de telles chaînes comme ne regardant que l'état présent pour prévoir l'étape suivante, la même idée qui anime les suggestions de mots sur un clavier de téléphone. Le nombre de mots antérieurs consultés et la longueur du texte produit peuvent tous deux être réglés.

La production guidée par sujet pousse le texte vers un thème choisi. Les groupes de plongements entrent en jeu : quand un thème de combat est retenu, le texte privilégie les passages qui nourrissent ce groupe. Chaque essai rend un texte différent, mais tous se rassemblent autour du même thème. L'auteur présente à ce moment la notion de plongements pour expliquer le mécanisme. La proximité de sens rejoint ainsi les simples comptes de transition dans la formation du texte.

Espace des plongements, analogies et petit modèle

L'étude des plongements place près les uns des autres les mots qui cooccurrent. Projetée de nombreuses dimensions vers deux, la disposition forme un nuage coloré : les plateformes autonomes se rassemblent d'un côté, les figures de l'IA générative de l'autre. Les questions d'analogie sont résolues dans le même espace : le lien qui unit l'hyperguerre à la guerre est cherché parmi d'autres paires de mots. Les travaux recensés sur arXiv tiennent de telles analogies linéaires pour un test classique de la qualité des plongements. Avec un petit recueil, certaines relations restent faibles, mais les liens de sens entre les mots commencent à apparaître.

Le modèle de langue Vectorfall est un petit modèle taillé pour des budgets de calcul serrés. Il complète le texte depuis la connaissance des plongements et produit 129 tokens par seconde sur cette carte minuscule. Les premiers essais peuvent bien commencer puis verser dans le non-sens, mais des passages cohérents sortent aussi des séries répétées. L'affichage sous le texte montre quels paragraphes ont nourri chaque passage ; rien n'est copié d'un seul endroit. Choisir le bon passage entre les essais et classer les résultats renforce le modèle par un retour humain. Les tokens sont produits sur les cœurs de la carte pendant que les voyants d'activité s'animent.

Les instruments d'analyse tournent sur la même carte : la courbe de Zipf, les nuages de mots et le relevé du vocabulaire en sortent. GeeksforGeeks résume ainsi la règle de Zipf : dans un recueil, le mot de tête paraît environ deux fois plus souvent que le second. L'auteur mesure son propre recueil à cette règle. L'extraction des années, des adresses de courrier et des liens est incluse : chaque date et chaque adresse du texte est listée une par une. Les noms qui cooccurrent souvent sont appris comme une seule notion, comme dans le cas Cambridge Analytica.

Chaque capacité de la plateforme est aussi offerte comme un service. Par le protocole de contexte de modèle, des montages d'IA extérieurs et des applications à agents peuvent appeler la force de cette carte. Anthropic a lancé ce standard ouvert, qui vise à supprimer la corvée d'un connecteur sur mesure pour chaque paire. La force de plongement, de recherche et de production d'une carte bon marché rejoint ainsi de plus grands ensembles. Dans l'exemple de l'auteur, des applications à agents emploient directement les fonctions prêtes de la carte.

Tout ce segment défend une seule notion : un travail d'IA instructif et utile peut se bâtir sans rejoindre la course aux cartes coûteuses. La transparence mène le jeu : les valeurs de plongement, les probabilités et la source de chaque mot restent visibles. Dans une vue de modèle en boîte noire, ces traces demeurent cachées. Les segments suivants de la série présenteront d'autres applications de la plateforme. Offrir aux vieilles cartes une seconde vie me semble aussi une source d'inspiration pour la recherche en solo.