La semaine de l'IA : dix travaux qui font entrer les agents dans l'ère du harnais

La sélection hebdomadaire publiée par l'équipe DAIR.AI sur x.com résume en une phrase où va l'IA : la course ne se joue plus sur le plus grand modèle, mais sur le programme qui l'entoure. La liste réunit dix études et sept d'entre elles traitent exactement cette couche, le harnais, le programme qui organise les appels au modèle, l'usage des outils et le flux d'information. La plupart des textes intégraux sont ouverts sur arXiv, donc chaque affirmation se vérifie à la source. Cet article ouvre ces dix études une par une, en langage simple.

Entraîner le programme coûte moins cher qu'agrandir le modèle

En tête arrive Harness Learning, de CMU, et l'idée est d'une simplicité surprenante : le modèle qui résout reste figé pendant que le programme harnais autour de lui est révisé. Un petit modèle proposeur lit le compte rendu d'exécution et suggère une modification du programme ; le proposeur s'entraîne par renforcement, récompensé par la note du harnais corrigé. Le titre : un proposeur de 4B bat son maître de 35B en correction d'une étape. Et surtout, le savoir-faire se transfère ; l'acquis d'un jeu de questions continue d'améliorer des harnais sur des jeux jamais vus.

La deuxième étude, CorpusMap, de Microsoft et partenaires, appuie où la recherche d'entreprise fait mal : les agents redécouvrent les liens entre documents à chaque requête. CorpusMap déplace ce travail avant la requête ; chaque entité récurrente reçoit une page liée à chaque document qui la mentionne. Les documents d'origine ne bougent pas et la carte est partagée entre requêtes. Sur sept modèles et trois collections d'entreprise, la qualité monte de 6,4 à 11,7 points pendant que les tokens d'entrée chutent de 34 à 57 pour cent. Que la carte se construise sans appel au modèle et s'actualise à chaque document la rend pratique.

Faites confiance aux preuves, pas au consensus

VeriHarness, de Google, interroge une habitude des agents au long cours : échantillonner quelques déroulés et faire confiance à la majorité. Les auteurs soutiennent que le consensus peut masquer une erreur partagée, tandis que le désaccord pointe souvent la bonne variante. La solution convertit le même modèle générateur en vérificateur outillé de preuves : un rôle teste les affirmations rivales contre l'environnement, un autre sonde ce sur quoi tout le monde s'accorde. En tête sur cinq terrains de travail, la méthode ajoute plus de 6 points sur un déroulé unique pour deux modèles amiraux. Près de 26 mille déroulés ont été ouverts en jeu de données via le site du projet VeriHarness ; la fiche HuggingFace a élargi le débat.

Quatrième arrêt, HERMES, qui change le regard sur le génie logiciel : chaque composant du dépôt reçoit un modèle de langage résident qui connaît sa tâche. Ces Dev-Primitives raisonnent en langage naturel, dialoguent entre elles et modifient leurs propres parties sur place. Les unités à réveiller se choisissent par dépendances, et les échecs de tests se retracent jusqu'à l'unité responsable. Sur la migration d'un dépôt entier, le même modèle bondit de 6,5 à 31 pour cent, avec un gain moyen de 12,4 points sur quatre tâches logicielles. Bien aiguillés, des composants de 8B restent à 4,5 points du modèle amiral tout en réduisant le coût de plus d'un quart.

Un modèle, trois rôles : une équipe qui se forme seule

MASS, de Sakana AI, tente l'auto-amélioration sans vérificateur externe : un seul modèle de base joue à la fois l'équipier, l'évaluateur et l'optimiseur. Le modèle propose des plans de travail multi-agents, les exécute, choisit le meilleur par sa propre note, puis se règle sur les traces de cette équipe avant de relancer le cycle. Après deux cycles, la performance par token grimpe de 1,2 à 1,6 fois sur quatre terrains ouverts. Un élève élevé sur des traces d'équipe bat un élève solitaire qui a vu 1,4 fois plus de traces. Le programme de l'étude a été partagé sur GitHub, et la page du projet Sakana explique la méthode pas à pas.

L'étude Sharpening Tax, de Meta, chiffre la facture cachée du réglage par renforcement : la note du premier coup monte pendant que la couverture des solutions se rétrécit. Les modèles bruts dotés d'un programme d'entourage léger se révèlent des agents étonnamment forts ; leurs versions réglées gagnent au premier essai mais n'atteignent pas, en de nombreux essais, ce que le brut résout. Sur 42 paires de modèles et trois tâches d'agents, la taxe apparaît presque partout et croît avec la taille. Le remède proposé, PTGS, règle la température d'échantillonnage sur la difficulté ; il améliore à la fois le premier coup et la couverture. La page de l'académie DAIR liste cette étude avec un résumé illustré.

VERA, de NVIDIA, résout le problème d'environnement de l'entraînement des agents longs : la plupart ne notent que la fin, alors qu'entraîner exige des terrains qui pausent à toute étape et notent depuis les preuves. La méthode prend des traces d'exécution prêtes et convertit chacune en bac à sable avec règles et contrôles exécutables ; plus de 9 mille terrains jugés entrent dans la banque d'entraînement. L'entraînement alterne poids du modèle et savoir-faire du harnais. À l'échelle 9B, il dépasse la meilleure base à axe unique de plus de 10 points sur deux terrains ; à 27B, il atteint 71,6 et 80,7. Le texte intégral est sur arXiv.

Mesurer le rendement de l'apprentissage

Agent Plasticity, travail commun de Meta, Berkeley et Princeton, pose la bonne question : le modèle à la note maximale, ou celui qui convertit l'expérience en gains au moindre coût ? La mesure fige les poids, repart chaque manche d'un contexte vierge, et divise les gains retenus grâce aux notes précédentes par le coût. Aux échecs, au Go et à Hex, un modèle file vers la finale tandis qu'un autre apprend davantage par unité de coût ; dans un jeu d'infiltration, un seul bondit de 66 points avec un budget à quatre chiffres. Les lents ne réutilisent jamais les notes qu'ils écrivent. La page du projet vit sur GitHub.

L'étude Continuous Memory Machines, de Sakana AI, donne aux modèles récurrents deux mémoires séparées : une à court terme qui suit l'activité présente et une à long terme qui garde ce qui servira plus tard. Un lecteur attentionnel lit et écrit les deux à chaque pas. En copie, rappel associatif, tri et labyrinthes, elle dépasse des prédécesseurs comme LSTM, DNC et RMC, en gardant la généralisation aux entrées plus longues. Les cartes d'attention montrent l'usage de la mémoire longue pour l'algorithmique et son abandon quand elle est inutile. Le résultat de Sakana dit que comprimer court et long en un vecteur ne suffit plus.

La pièce finale, MIMESIS, regarde la moitié oubliée de l'entraînement : l'utilisateur. Les assistants prêts se montrent trop coopératifs dans le rôle d'utilisateur ; un agent figé marque plus facilement contre ces faux utilisateurs que contre des personnes réelles. MIMESIS est une simulation d'utilisateur de 9B apprise de vraies conversations humaines et de 13 motifs de conduite, qui bat le plus fort modèle amiral de 13,4 points en fidélité. Figez cette simulation, entraînez un agent contre elle, et la généralisation progresse sur les neuf types inédits. Une étape qui convertit le raisonnement privé en retour au niveau du token accroît encore le gain. Le texte intégral est ouvert sur arXiv.