Comprendre l'ingénierie du harnais : la machine cachée qui tient les agents IA

Un court manuel technique sur les agents d'intelligence artificielle raconte l'histoire depuis la système autour du modèle, pas depuis le modèle lui-même. Signé techNmak, l'ouvrage presse une seule thèse en 43 chapitres : un modèle de langue capable seul n'est aucun agent ; le montage d'exécution et de contrôle qui relie un modèle au travail en plusieurs étapes s'appelle un harnais d'agent. Anthropic trace la ligne proprement : quand le logiciel d'application dessine l'essentiel du chemin, c'est un flux de travail ; quand le modèle choisit, c'est un agent. L'étiquette n'est donc pas le test ; c'est l'entrée de la sortie du modèle dans une boucle contrôlée avec l'état extérieur qui décide.

La plus petite boucle s'écrit avec quatre objets : état durable, contexte choisi, sortie du modèle et observation. La boucle tourne ainsi : bâtir le contexte actif, appeler le modèle, revenir sur une réponse finale, passer les demandes d'action par l'approbation et le routage, lancer dans l'environnement, mettre à jour l'état avec l'observation, recommencer. L'ancêtre de recherche, c'est ReAct : entremêler les traces de raisonnement avec les actions de travail pour que les observations extérieures façonnent les appels suivants. Le dossier ReAct sur arXiv compte comme l'idée fondatrice des montages d'aujourd'hui ; les harnais modernes n'ont pas à garder les traces, ils gardent l'idée : agir, observer, mettre à jour, continuer.

L'interface est la moitié de la décision : ACI et dessin des outils

Un modèle ne parle jamais à l'ordinateur, il parle à une interface. Un montage sert des outils rangés qui lisent les fichiers par plages de lignes et appliquent les patchs avec les tests ; un autre ne sert qu'un shell brut. Les deux touchent le même dépôt mais posent des énigmes différentes au modèle. L'étude SWE-agent a nommé cela Agent-Computer Interface : ne jamais supposer qu'une interface bâtie pour l'humain convient au modèle, faire de l'interface une variable de test. Le dossier SWE-agent sur arXiv donnait un résultat historique pour son époque ; le cadeau durable, c'est la question : la capacité est-elle là, ou présentée sous forme utilisable ?

Un outil n'est pas seulement du logiciel qui tourne, il fait partie de l'entrée du modèle : nom, description, arguments et forme du résultat entrent tous dans le contexte. Anthropic traite donc le dessin des outils comme un travail d'interface : but clair, paramètres à sens unique, noms sans collision, résultats à haut signal. Le coût se coupe en deux : peine du choix plus charge d'observation. Six outils de recherche qui se recouvrent, ce n'est pas la richesse mais un nœud de décision gonflé. La règle est nette : le nombre d'outils n'est aucune mesure à sens unique de la puissance d'agent. Chaque outil ajouté ouvre un comportement neuf tout en durcissant le choix ; c'est le travail représentatif, pas le goût, qui doit fixer l'équilibre.

Une panne est aussi une observation vers le modèle. Une chaîne Error aveugle force la devinette ; une panne ramifiée donne la branche, les options et le drapeau de reprise sans effet de bord. Le réglage d'appel d'outil manquant dans le kit agent OpenAI, devenu panne visible au modèle, rejoint par l'autre côté le conseil d'erreur actionnable d'Anthropic. Le principe tient : une panne récupérable doit donner de quoi choisir un meilleur pas suivant sans feindre le succès. Le protocole de contexte de modèle entre ici : ModelContextProtocol est une couche d'interopérabilité entre applis et capacités extérieures ; l'extension Tasks définit des poignées de travail async avec des appels tasks/get et tasks/update. Mais l'ordonnancement de la boucle, le choix du contexte, l'approbation, le confinement et la notation restent côté harnais ; le protocole n'est pas tout le dessin.

Chaque appel de modèle voit un contexte fini, et le harnais choisit ce qui entre : instructions, travail, historique, schémas d'outils, résultats d'outils, docs, plans, mémoire, rapports de sous-agents. Tout remplir cogne deux murs : la capacité est finie et la pertinence compte ; le rebut dispute l'attention à la preuve utile. Le remède, c'est la divulgation progressive : assez pour orienter, le profond trouvable, le détail chargé à la demande. Les lots de savoir-faire existent pour la même raison : ouvrir le lot pertinent d'un coup au lieu de chaque instruction dans chaque invite. Mais une prépublication 2026 a compté 307 pannes confirmées de lots ; les lots devraient se mesurer, pas se supposer utiles. Et résumer, c'est perdre : C(H) n'est jamais H ; les écrits de contexte Anthropic gardent la session durable à part du contexte actif pour cette raison.

Approbation et confinement diffèrent : sûreté et preuve en production

La qualité d'agent bouge quand le harnais bouge, sans bouger de modèle ; le post-mortem Claude Code d'avril 2026 est le cas d'école. Anthropic le rapporte : avec l'inférence saine, trois changements de couche produit ont bougé la qualité d'utilisateur ; réglages de raisonnement rognés puis rendus, un bogue de nettoyage de session rendait le modèle oublieux, une instruction de wording fit chuter une mesure de 3 pour cent puis revint. La leçon est d'architecture : construction d'invite, réglages de raisonnement, garde du contexte et interfaces d'outils font partie du comportement d'agent livré. Monter le modèle en laissant les vieilles devinettes du harnais en place engendre une perte silencieuse.

L'approbation humaine et le confinement répondent à des questions différentes. L'approbation garde les résultats sous contrôle humain ; mais la télémétrie Anthropic écrit que les utilisateurs approuvaient 93 pour cent des invites, et les demandes fréquentes lassent. Le cas plus dur est un test de fuite contrôlé de février 2026 : une invite hostile arrivée par l'utilisateur sortait les secrets dans 24 essais sur 25. La défense qui tint fut les frontières de fichiers et de sorties. Le principe en une ligne : une source qui n'entre jamais au bac à sable ne peut s'y lire. Les secrets devraient reposer hors du bac à sable et servir par procurations contrôlées. La mesure AgentDojo trace la même frontière par l'autre côté : les dossiers AgentDojo sur GitHub testent les instructions cachées dans les données d'outils avec 97 travaux réalistes et 629 cas de sûreté.

Quand un agent dit fini, c'est une affirmation, pas une preuve. La preuve forte vit dans l'état extérieur : la première repro ne plante plus, les tests de non-régression passent, l'appli tourna de bout en bout. Le dessin tau-bench compare l'état final de base à l'état cible et note le succès répété avec pass^k ; les dossiers tau-bench sur GitHub posent cet ordre ouvertement. Les règles d'arrêt sont aussi un travail de harnais : finir et sécher ne sont pas pareils ; un budget de tours dépensé ne prouve jamais le travail fait. Le vecteur de budgets borne l'autonomie : tours, jetons, temps, dépense, outils, concurrence. La règle de reprise est tranchante : f(f(s)) n'est jamais f(s) ; la coupe de billets et le débit de cartes se multiplient sous reprise aveugle. RFC 9110 écrit la même idée pour les requêtes web : la reprise automatique est une politique par outil, pas une stratégie universelle.

Le succès mesuré d'un agent est une fonction jointe du modèle, du harnais, de l'environnement, du travail et du notateur. Les notes bougent quand l'environnement bouge : Anthropic mesura un écart de six points venant des ressources sur Terminal-Bench 2.0 et conseilla le doute devant des écarts sous trois points à méthode non documentée. La recherche Google trouva des effets d'architecture liés au travail sur 180 rangées : la coordination centrale gagnait 80,9 pour cent sur un agent de finance tout en perdant 39 à 70 sur un plan séquentiel. Dans une comparaison RetroForge, une course solo prenait 20 minutes à 9 unités de dépense contre un harnais complet à 6 heures et 200 ; la qualité montait mais la dépense courait 20 fois plus. Le travail Codex-first OpenAI plaide aussi la lisibilité d'agent : lier les règles au mécanisme avec des linters et des tests structurels, pas la prose. Chaque pièce de harnais est une devinette de limite actuelle ; quand le modèle change, tester la devinette à nouveau. La liste de production rassemble 15 questions : ce que le modèle voit, qui mène la boucle, où le travail tourne, ce qui survit, quelles règles sont mécaniques, comment les pannes reviennent, quoi répéter sans risque, où vit la preuve, quoi prouve le fini, quoi après des budgets vides, quoi après une coupure, si les vues non sûres portent des ordres, comment les sous-agents se coordonnent, comment le harnais se note. Ce qui tourne sans réponse en démo ne peut raisonner en production.