Por qué los agentes necesitan modelos de mundo causales

Imagine un gato junto a una mesa, un jarrón roto en el suelo, cojines apilados por todas partes. El orador plantea una pregunta sencilla a los modelos más potentes del momento: ¿qué habría pasado si el gato hubiera empujado el jarrón? Las respuestas son de una dejadez embarazosa; un modelo declara el jarrón pulverizado e ignora los cojines, otro encadena una frase aprendida de memoria. Lo mordaz es que la respuesta no está dentro de la fotografía sino un paso más allá. Los cojines cambian la física, pero un agente entrenado con patrones de coocurrencia no ve la diferencia. Toda la charla crece a partir de esta pequeña escena.

El avance de los últimos años es innegable: los sistemas de inteligencia artificial encadenan proezas en predicción de alta dimensión. Lengua, visión y aplicaciones sostenidas por el aprendizaje por refuerzo: llueven los modelos , cada semana trae su récord. El orador saluda una época bendecida; pocas veces fue tan bueno ser informático. Abundan los datos, abunda el cómputo, ejércitos de ingenieros esperan listos. Hasta aquí nadie protesta. Pero cuando se apagan los aplausos, una pregunta más severa sube a la mesa.

El experimento mental de los datos infinitos

Supongamos cómputo sin límites y datos sin límites; supongamos medio Manhattan pavimentado de centros de datos e ingenieros multiplicados por diez. ¿Emergería sola la inteligencia general a medida que crece la pila? El orador monta este supuesto como experimento mental y advierte que la respuesta dista de ser obvia. Apilar ladrillos es subir siempre el mismo mortero; el muro se eleva pero el edificio nunca cambia de naturaleza. Lo que falta quizá no sea cantidad sino el mortero mismo. El ambiente cambia en la sala, porque la afirmación incomoda certezas bien instaladas.

Las grandes voces del campo han derivado hacia la misma línea. Algunas dicen que la mera escala no basta y que harán falta ideas nuevas para el próximo salto; otras subrayan que el crecimiento bruto jamás producirá sistemas que comprendan el mundo. La palabra clave es comprender: ¿un agente capta de verdad el mundo o se limita a encadenar frases e imágenes con virtuosismo ciego? Para el orador, esta distinción descansa en la causalidad. La página de Berkeley enmarca la charla en la búsqueda de una autonomía fiable; el taller Trustworthy AI del 5 de octubre de 2026 traza una línea desde las alucinaciones hacia la fiabilidad. Según Berkeley, allí se juega la discusión.

A la izquierda del esquema, el mundo real, a la derecha el agente , y Turing trazó la línea de interacción entre ambos: la máquina que aprende de la experiencia. Al orador le encanta ese marco, pero señala que la palabra experiencia está peligrosamente sobrecargada. Los episodios metidos en ese saco único son profundamente distintos; hay que abrir el saco y clasificar su contenido. El resumen de ACM sobre el programa de Pearl nombra los dos grandes obstáculos del campo: la adaptación y la explicabilidad, pues los sistemas fallan en lo inédito y no saben justificar sus veredictos. Según ACM, esos son los muros contra los que choca la escala.

Hay tres clases de experiencia. Primero la postura del espectador: el agente mantiene las manos a la espalda y observa el mundo con sus sensores, registrando lo que ocurre. Después la intervención: se sumerge, pulsa botones, manipula objetos y mide los efectos de sus propias acciones. Por fin la simulación mental: se retira y ensaya lo que podría pasar, fabricando la materia prima del arrepentimiento y la responsabilidad. Las tres cuentan como experiencia, pero sus estructuras lógicas difieren de raíz; confundirlas equivale a leer tres lenguas con un solo diccionario.

Los tres peldaños de la escalera causal

Estas tres clases de experiencia tienen sus correlatos formales en la jerarquía causal de Judea Pearl, llamada PCH en el laboratorio y recomendada a los curiosos junto a The Book of Why. Comparada con los estratos de Chomsky en lingüística, la escalera muestra qué preguntas puede formular cada lenguaje. El primer peldaño es el lenguaje de la asociación: regularidades observadas, probabilidades condicionales, predicción. El segundo es el lenguaje de la intervención: qué pasaría si se pulsara el botón, saber que llega por la acción. El tercero es el lenguaje contrafactual: dado lo que ocurrió, qué habría ocurrido si no. Cada peldaño contiene al inferior sin reducirse jamás a él; las preguntas de arriba ni siquiera pueden formularse con el vocabulario de abajo.

El programa provisional del libro de inteligencia artificial causal asciende por esta escalera curso a curso; el capítulo inicial motiva la jerarquía, la segunda parte expone modelos causales estructurales y diagramas, y las semanas siguientes abordan el cálculo de la intervención y los fundamentos contrafactuales. Según causalai-book, ese es el curso que la charla condensa en una tarde. Los dialectos del segundo peldaño son estructuras familiares de la decisión: redes bayesianas causales, procesos de decisión markovianos, procesos parcialmente observados. El lugar del aprendizaje por refuerzo apenas recibe una mención pasajera; el orador lo trata como una puerta estrecha hacia la causalidad cuando el edificio que hay detrás es inmenso. Para un agente que sondea el mundo actuando, ese dialecto es un vocabulario obligatorio.

El ejemplo emblemático del tercer peldaño es la parábola del fármaco: el paciente tomó el remedio y murió; ¿habría vivido sin él? La frase no se comprueba por repetición, pues a los ausentes no se les ofrece una segunda vida. Pero no está vacía de sentido; provistos de un modelo causal, podemos calcular su valor de verdad. La mente humana habla ese dialecto sin descanso: retrospección, introspección, reproche, arrepentimiento. La atribución del mérito y la responsabilidad echan raíces allí. Los dialectos actuales del aprendizaje automático no tienen equivalente; sus vocabularios describen lo que es y lo que podría ser, nunca lo que habría podido ser.

El nudo más duro es la inferencia entre capas. Sintetizar una distribución de intervención desde una de observación es prever el efecto de un contacto con el mundo sin tocarlo; ese es el comercio central de la comunidad causal. Un paso más allá se alza una pregunta más severa: ¿bastan datos de observación e intervención para fundar un veredicto contrafactual? Ninguna mezcla ingenua de las dos migajas da la tercera clase de saber; hace falta un puente formal. El estudio de arXiv sobre agentes robustos convierte esta intuición en teorema: todo agente que sostenga una cota de arrepentimiento sobre una amplia familia de desplazamientos de distribución ha aprendido necesariamente un modelo causal aproximado del proceso generador. Según arxiv, robustez y modelado causal están ligados matemáticamente.

Una hoja de ruta en cinco capacidades

El orador extrae una lista de control; cinco capacidades se exigen a cuanto se proclame inteligencia causal. Primera, la generación causal y contrafactual: restituir con fidelidad la respuesta del mundo ante una intervención estipulada. Segunda, la comprensión y la explicación causales: justificar las decisiones por apelación al mundo. Tercera, la decisión eficiente y precisa: elegir la buena acción en pocos ensayos. Cuarta, la generalización y la robustez: sostenerse en lo inédito. Quinta, el descubrimiento: hallar principios nuevos sobre el mundo, como un sabio en miniatura partido de una tabla rasa. Los sistemas actuales de inteligencia artificial casi dejan la lista en blanco; el veredicto es duro pero fija el orden del día.

La capacidad de generación rinde su examen en el ejemplo de la lámpara: una fotografía muestra una lámpara apagada, desenchufada, y la pregunta pide qué pasaría al accionar el interruptor. Quien conozca el mundo responde que la oscuridad permanece; un interruptor desenchufado solo produce un clic. Los modelos redactan en cambio párrafos líricos sobre la luz que va a brotar, porque interruptores y claridad coocurren en los textos. Las coocurrencias de tokens no sustituyen a la física; cuando la palabra interruptor convoca a la palabra luz, el modelo pinta la asociación en vez de lo real. Cientos de ensayos análogos no cambian nada; el error es una ceguera sistemática, no un accidente aislado.

Al frente de la explicación llega el experimento de las cifras de colores: ¿el veredicto depende de la forma de la cifra o de su matiz? Las técnicas clásicas de atribución no distinguen dos conductas; un modelo lee bien la forma mientras otro hace trampa con el color, pero sus mapas de atribución parecen idénticos. La técnica contrafactual causal levanta el telón: informa de que el tramposo se funda en el color mientras el modelo sano sigue la forma. Millones de horas de cómputo y tesis enteras se disipan en métodos que plantean la pregunta equivocada; una lente confinada a las correlaciones de los datos jamás mostrará el mecanismo del mundo. La pobreza causal de las herramientas clásicas de explicabilidad figura allí como el ángulo muerto más costoso del campo.

Un modelo de mundo que juega al Pong traslada el problema de atribución a la sala de juegos: las imágenes se apagan por secuencias, el rendimiento se desploma y se busca la transición culpable. Los métodos no causales diluyen la culpa en cada transición; los dedos señalan a todas partes y ninguno se sostiene. El método causal aísla una sola transición; en esa semilla, la transición número 536 queda señalada como responsable de la caída. La interpretabilidad mecanicista queda así devuelta al suelo causal: abrir las capas internas no basta, hay que preguntar a qué corresponden en el mundo. Como la mayoría de las herramientas de inspección de los grandes modelos jamás plantea esa pregunta, la deuda de explicación crece con la escala, sostiene el orador.

Entre fluidez y comprensión

El cierre traza dos ejes: la fluidez y la comprensión. Los productos actuales de modelos de lenguaje brillan en el eje de la fluidez; las frases fluyen, las imágenes deslumbran, los vídeos persuaden. La comunidad causal ha ahondado el eje de la comprensión pero sigue lejos de la fluidez; su lenguaje es matemático, su alcance estrecho. La meta es una unificación: un sistema que fluya como el inglés y a la vez capte el mundo causalmente. El orador insiste en que ningún apósito bastará; pegar los dos dialectos equivaldría a unir con cinta la teoría cuántica y la relatividad. El llamamiento se dirige sobre todo a los jóvenes investigadores, enmarcado como el problema definitorio de su generación. La observación de Yosefk sobre los fracasos afila la punta: el modelo brilla en las aperturas aprendidas de memoria y luego intenta en la novena jugada mover un caballo ausente; un sistema que nunca sigue el estado del tablero puede alinear jugadas sin entender la partida. Según yosefk, la fluidez sin estado del mundo es exactamente eso.

Las pruebas llegan por dos flancos. De un lado, el resultado de arXiv: un vínculo de nivel teorema entre generalización robusta y aprendizaje de modelos causales, de modo que todo agente que persiga cotas de arrepentimiento habrá de recuperar tarde o temprano los mecanismos del mundo. Del otro, frescas mediciones de razonamiento contrafactual muestran a los grandes modelos replegándose en el saber memorizado cuando los hechos familiares chocan con la novedad. La página del laboratorio da a este programa su forma institucional: un doctorado con Pearl, un laboratorio de inteligencia artificial causal en Columbia, un arco de publicaciones del aprendizaje por refuerzo hacia el análisis de equidad. Según causalai, la agenda cubre una década de resultados.

El marco unificador es el libro de próxima aparición en MIT Press sobre inteligencia artificial causal, que fusiona teoría de probabilidades, inferencia causal y teoría de la decisión en una sola hoja de ruta, de la seguridad a la generalización. La charla se lee como su ensayo público; los casos del gato y la lámpara sostienen la primera capacidad, la cifra de colores y el Pong sostienen la segunda. El aprendizaje por refuerzo y la teoría de juegos causal quedan nombrados y remitidos al libro por falta de tiempo. Para los lectores que quieran una autonomía digna de confianza, el mensaje es nítido: construyan causalmente el modelo de mundo del agente y nunca tomen frases fluidas por comprensión.