L'humain dans la boucle n'est pas une stratégie de gouvernance : la vraie supervision de l'IA agentique

J'ai vécu la même scène dans chaque réunion de gouvernance de l'IA : quelqu'un s'inquiète de voir une machine toucher à une décision à fort enjeu, un autre répond qu'il y a un humain dans la boucle, et la salle se détend. Cela ressemble à une solution. Mais le fait qu'une personne jette un oeil sur un résultat avant sa mise en service ne signifie pas que le système est gouverné ; le plus souvent, cela veut dire que la responsabilité a été blanchie par une signature. Phaedra Boinodiris, connue pour son travail au sein d'IBM, nomme ce tableau blanchiment de responsabilité, et l'essai publié sous la signature d'IBM développe cet avertissement.

Boinodiris commence par rappeler comment les humains se font confiance. L'intensité avec laquelle vous passez au crible le rapport d'un collègue dépend de la confiance qu'il a méritée ; la confiance n'est jamais automatique, elle s'accumule avec le temps. Elle repose sur cinq comportements intuitifs : fonder ses productions sur des preuves réelles, produire des résultats constants dans les mêmes conditions, choisir des méthodes adaptées à la décision, oeuvrer pour le bien de l'équipe plutôt que pour soi, et rester la même personne quand les conditions changent.

Chacun de ces comportements correspond à une propriété technique de l'IA. La preuve devient la transparence : avec quelles données et quelles méthodes le modèle a-t-il été alimenté, et ces choix ont-ils été validés ? La constance devient l'explicabilité : pourquoi ce résultat, pour cette personne, aujourd'hui ? L'adéquation des méthodes devient l'observabilité : dans l'IA agentique surtout, le système fonctionne-t-il encore correctement quand les conditions évoluent ? L'orientation vers soi devient l'optimisation de l'algorithme : pour quoi et pour qui ce modèle a-t-il été réellement optimisé ? La continuité devient la robustesse face aux adversaires : le modèle a-t-il été altéré ?

L'accent mis sur l'observabilité n'a rien d'un hasard : un agent qui poursuit un objectif appelle des outils, enchaîne les décisions, et le risque de sortir du champ de vision grandit à chaque étape. Les schémas de gouvernance publiés par les équipes de Dataiku intègrent donc la supervision dans le flux lui-même : points de pause et de reprise aux seuils critiques, circuits d'approbation pour les actions risquées, chemins d'escalade qui rendent la main à un humain en cas d'échec. Le tableau signalé par la recherche de Dataiku donne à réfléchir : seuls cinq pour cent des responsables de données déclarent que les résultats de l'IA sont traçables à chaque fois. Sans trace, pas de supervision.

Le droit a déjà pris cette direction. L'article 14 de la législation européenne sur l'IA exige que les systèmes à haut risque soient conçus pour permettre une surveillance effective par des personnes réelles. Les commentaires publiés par l'IAPP soulignent l'exigence : la supervision doit garantir que le système est utilisé comme prévu et que ses effets sont traités tout au long de son cycle de vie. Airia tranche encore plus nettement : un bouton générique d'approbation à l'écran, c'est une supervision faible ; une supervision forte est pilotée par des règles, enregistrée et exécutoire. La loi ne dit pas qu'un humain doit y jeter un oeil, elle dit que l'humain doit réellement voir et pouvoir arrêter le processus.

Pourtant, Boinodiris insiste : l'humain dans la boucle apporte ce qu'aucun modèle ne reproduit, lire les circonstances et pas seulement les données. Un dossier peut raconter une histoire pendant qu'une vie en raconte une autre ; la question n'est pas ce que dit le résultat, mais ce que cette décision signifie pour cette personne, dans cette vie. Travailleurs sociaux, éthiciens, historiens, conseillers — des groupes à qui l'on a répété pendant des décennies que leur expertise était trop peu technique pour les décisions technologiques — sont précisément ceux qui posent cette question. L'approbation humaine aux étapes à haut risque, recommandée par l'analyse de Synclovis, repose sur la même intuition : nous avons bâti des systèmes qui affectent des millions de vies sans y inclure quiconque étudie les vies.

La conclusion propose un test en quatre questions : le réviseur peut-il voir le raisonnement du modèle, a-t-il l'autorité d'arrêter le processus, les bons instruments de mesure et les bonnes boucles de retour sont-ils en place ? Sinon, ce n'est pas de la gouvernance, c'est compter des corps chauds sur des chaises. La fin n'est pourtant pas sombre : un humain qui voit le raisonnement, peut arrêter le processus et apporte ce qu'aucun modèle ne reproduit, c'est le début de la gouvernance. La question n'est jamais de savoir s'il y a un humain dans la boucle, mais si cet humain a réellement un travail à faire.