El humano en el circuito no es una estrategia de gobernanza: supervisión real para la IA agéntica

He vivido la misma escena en cada reunión de gobernanza de la IA: alguien se preocupa porque una máquina interviene en una decisión de alto riesgo, otro responde que hay un humano en el circuito y la sala se relaja. Suena a solución. Pero que una persona revise un resultado antes de publicarlo no significa que el sistema esté gobernado; la mayoría de las veces significa que la responsabilidad se ha blanqueado con una firma. Phaedra Boinodiris, conocida por su trabajo dentro de IBM, llama a este cuadro blanqueo de responsabilidad, y el ensayo publicado bajo la firma de IBM desarrolla la advertencia.

Boinodiris empieza recordando cómo confían las personas entre sí. Con cuánto rigor examinas el informe de un colega depende de si esa persona se ha ganado tu confianza; la confianza nunca es automática, se acumula con el tiempo. Descansa en cinco conductas intuitivas: basar los resultados en pruebas reales, producir resultados constantes en las mismas condiciones, elegir métodos adecuados para cada decisión, trabajar por el bien del equipo en lugar del propio y seguir siendo la misma persona cuando cambian las condiciones.

Cada conducta corresponde a una propiedad técnica de la IA. La prueba se convierte en transparencia: ¿con qué datos y métodos se alimentó el modelo y fueron validadas esas elecciones? La constancia se convierte en explicabilidad: ¿por qué produjo este resultado para esta persona hoy? La adecuación del método se convierte en observabilidad: en la IA agéntica sobre todo, ¿sigue funcionando bien el sistema cuando cambian las condiciones? La autoorientación se convierte en optimización del algoritmo: ¿para qué y para quién fue optimizado realmente este modelo? La continuidad se convierte en robustez frente a adversarios: ¿ha sido manipulado el modelo?

El énfasis en la observabilidad no es casual: un agente que persigue un objetivo invoca herramientas, encadena decisiones y el riesgo de perderse de vista crece en cada paso. Los patrones de gobernanza publicados por los equipos de Dataiku integran por eso la supervisión en el propio flujo: puntos de pausa y reanudación en umbrales críticos, circuitos de aprobación para acciones arriesgadas y vías de escalado que devuelven el control a un humano ante un fallo. El cuadro señalado por la investigación de Dataiku invita a reflexionar: solo el cinco por ciento de los líderes de datos afirma que los resultados de la IA son rastreables siempre. Sin rastro no hay supervisión.

La ley ya se mueve en esa dirección. El artículo 14 de la ley europea de IA exige que los sistemas de alto riesgo se diseñen para permitir una vigilancia efectiva por personas reales. Los comentarios publicados por IAPP subrayan la exigencia: la supervisión debe garantizar que el sistema se usa según lo previsto y que sus efectos se abordan durante todo su ciclo de vida. Airia afina aún más la distinción: un botón genérico de aprobación en pantalla es supervisión débil; la supervisión fuerte se basa en políticas, queda registrada y es ejecutable. La norma no dice que un humano le eche un vistazo, dice que el humano debe ver de verdad y poder detener el proceso.

Sin embargo, Boinodiris insiste en que el humano en el circuito aporta algo que ningún modelo reproduce: leer las circunstancias, no solo los datos. Un expediente puede contar una historia mientras una vida cuenta otra; la pregunta no es qué dice el resultado, sino qué significa esta decisión para esta persona en esta vida. Trabajadores sociales, especialistas en ética, historiadores, orientadores —colectivos a los que durante décadas se dijo que su experiencia era demasiado poco técnica para las decisiones tecnológicas— son precisamente quienes formulan esa pregunta. La aprobación humana en los pasos de alto riesgo que recomienda el análisis de Synclovis descansa en la misma intuición: construimos sistemas que afectan a millones de vidas sin incluir a nadie que estudie las vidas.

El cierre propone una prueba de cuatro preguntas: ¿puede el revisor ver el razonamiento del modelo, tiene autoridad para detener el proceso, existen los instrumentos de medición y los circuitos de retorno adecuados? Si no, lo que hay no es gobernanza sino contar cuerpos tibios en sillas. El final, con todo, no es sombrío: un humano que ve el razonamiento, puede detener el proceso y aporta lo que ningún modelo reproduce es el principio de la gobernanza. La pregunta nunca es si hay un humano en el circuito, sino si ese humano tiene realmente un trabajo que hacer.