Dream-RSI de Google: convertir la historia en un simulador para la auto-mejora recursiva

En «Google is SO back…», Wes Roth enmarca la apuesta de Google como soñar la RSI en lugar de vivirla: mientras muchos debaten si la RSI debería ocurrir, Google pone la IA en una simulación y sueña a través de miles de vías de mejora para ver qué rama llega más rápido. El artículo central, Dream-RSI — la «R» de simulación — no intenta reemplazar al agente de codificación; intenta mejorar la política de exploración que decide qué experimento debe ejecutar el agente a continuación, convirtiendo la meta-decisión en el principal objetivo de optimización.

Por qué el descubrimiento se comporta como un árbol tecnológico

La metáfora del árbol tecnológico, tomada de los videojuegos, hace la idea intuitiva: como fabricar herramientas de madera antes que de piedra y diamante en Minecraft, la ciencia necesita prerrequisitos. Wes esboza el árbol de la humanidad desde las herramientas de piedra hasta las hojas pulidas, luego wikis, DVD, Wi-Fi, GPU, y finalmente el stack de 2025 de chatbot LM, modelo de razonamiento y agente de codificación de IA como frontera actual. Algunas ramas parecen prometedoras y mueren, otras parecen accidentales y se convierten en saltos; el árbol sigue ramificándose, y elegir la rama es la verdadera habilidad.

Esa historia explica los vaivenes del péndulo. En los 80 y 90 muchos descartaron las redes neuronales como callejones sin salida hasta que Geoffrey Hinton argumentó que el cuello de botella era la computación y las GPU de Jensen Huang le dieron la razón. La misma división regresó con los grandes modelos de lenguaje: un bando lo llamó el camino equivocado hacia la AGI y quiso cerrarlo, el otro escaló lo que parecía funcionar y fue reivindicado, aunque a regañadientes. Dream-RSI sistematiza esa elección: incluso un investigador excelente puede desperdiciar una semana en la cadena equivocada, así que la palanca no son solo mejores experimentos sino mejores decisiones sobre qué experimentos merecen energía, cómputo y atención.

La respuesta: la historia ya es un simulador

La propuesta de Google y sus colaboradores es de una simplicidad desarmante: todos esos experimentos pasados, con el linaje de qué hallazgo dependía de cuál, ya son datos — un mapa. El sitio lo destila en tres ideas: la historia proporciona el mundo donde ocurre el sueño, el sueño impulsa el paso de auto-mejora, y cada vuelta exitosa aporta un nuevo mundo. No hay modelo del mundo aprendido ni aproximación; el árbol ya cultivado por el agente funciona como un motor de repetición preciso del territorio que ha cubierto, un mundo adquirido gratis como efecto secundario de hacer el trabajo.

En la práctica, se rebobina la historia hasta un punto y se deja que el agente recorra el árbol histórico. Wes recuerda el experimento mental de Demis Hassabis de entrenar hasta principios del siglo XX y preguntar si el agente rededuciría la relatividad, o más directamente para este artículo, si podría hacer speedrun del descubrimiento encontrando ramas más rápidas por el mismo árbol. Dream-RSI lo hace concreto: soñar miles de políticas candidatas contra ese mundo a cero ejecuciones y desplegar solo la ganadora. La analogía con Mario ayuda — mil millones de Marios convergen en las tácticas que funcionan — excepto que aquí los Marios aprenden dónde ramificarse, qué paralelizar y cuándo detener la búsqueda.

Cerrar el ciclo: un grupo creciente de mundos

El ciclo tiene tres etapas. Exploración en línea: la política actual guía al agente de codificación, expande el árbol de descubrimiento y registra trazas. Construcción del simulador: ese árbol, con sus decisiones de ramificación y resultados de ejecución de código, se convierte en un grupo reutilizable de simuladores de repetición. Mejora de la política basada en sueños: un agente de desarrollo de políticas sueña políticas de exploración alternativas y las reproduce para retroalimentación rápida, y luego envía la de mejor puntuación. Cada despliegue ganador registra un nuevo árbol, así que el agente no posee un solo mundo sino un grupo creciente; una política puntuada sobre un conjunto mayor de mundos supera a una ajustada al resultado azaroso de una sola ejecución y alcanza mundos que ninguna estrategia anterior habría podido llegar — los mundos evolucionan junto con el agente.

El atractivo es el coste. Juzgar una política de exploración normalmente significa verla guiar una ejecución completa de horizonte largo hasta el final; la retroalimentación es tardía y cara, y el espacio de meta-políticas es vasto y mayormente malo. Un script de exploración fijo, escrito a mano, no puede aprender de la experiencia y sigue pagando por direcciones que ya fracasaron. Al leer la historia como un árbol en lugar de como texto estático o datos de entrenamiento, Dream-RSI convierte los registros pasados en un simulador donde una nueva estrategia puede recorrer diferentes ramas en diferentes órdenes con diferente concurrencia y reglas de parada, todo sobre nodos ya ejecutados. La evaluación regresa de inmediato a cero ejecuciones extra, y así una costosa ejecución en línea puede pagar miles de evaluaciones fuera de política.

Lo que muestran los números y cómo se adapta el comportamiento

¿Funciona? Según los destacados de dream-rsi.com en ocho tareas de tres dominios, la línea base controlada es la Exploración Fija Recursiva — agente, evaluador y presupuesto idénticos, pero la política nunca cambia, así que la primera ronda es idéntica por construcción. Dream-RSI reporta 2,43× menos generaciones en VGG16 a rendimiento comparable, 2,09× mayor puntuación en ConvDiv a presupuesto comparable, y 162× menos llamadas al agente de descubrimiento que SimpleTES en Lasso. La tabla de Lasso es concreta: con Gemini-3.7-Flash, Dream-RSI promedia 2.350,6 ms de tiempo de ejecución fuera de muestra a 1.879 llamadas acumuladas frente a 2.516,7 ms a 3.200 llamadas de la exploración fija y 3.804,8 ms a 51.200 llamadas de SimpleTES con gpt-oss-120b; Gemini-3.1-Pro muestra la misma dirección.

Dos notas de comportamiento destacan en el recorrido de gráficos de Wes. El enfoque es adaptativo: cuando el progreso es fácil gasta menos cómputo, cuando se estanca gasta más. Y tratar de guiar al agente con consejos de su pasado empeora las cosas — la exploración abierta funciona mejor, lo que apoya la idea de comparar rutas completas en el mapa en lugar de copiar la ruta anterior. El video también señala que AlphaEvolve supera a Dream-RSI en algunas optimizaciones matemáticas, pero eso no es una contradicción; las herramientas apuntan a porciones distintas de la RSI y pueden combinarse en lugar de clasificarse como sustitutos directos.

El cierre vuelve al stack RSI más amplio de Google. La victoria anterior de AlphaEvolve en la programación del centro de datos Borg — una optimización no teórica que Wes recuerda como un ahorro de millones al organizar mejor el grupo global de cómputo de Google — es la pieza complementaria: un sistema ejecuta experimentos, otro averigua cómo programar qué experimento se ejecuta a continuación, y juntos mejoran la próxima generación de modelos, herramientas y procesos. En esa arquitectura, Dream-RSI es el entrenador de sueños del planificador: una capa de orquestación ligera que hace explícitas y programables la ramificación, el paralelismo y la parada, dejando intacto al agente de codificación. Por eso Wes lo llama fundacional en lugar de llamativo — no un modelo nuevo listo para usar sino la capa que permite a los modelos seguir mejorando, una palanca plausible del laboratorio que inventó el transformer.