Google a-t-il rêvé jusqu'à l'auto-amélioration ? Dans les coulisses de Dream RSI et du débat sur l'explosion d'intelligence

En 1965, le cryptologue de Bletchley Park I. J. Good, qui avait travaillé aux côtés de Turing, écrivait que dès qu'une machine peut concevoir ses successeurs, une explosion d'intelligence commence et l'intellect humain est laissé pour compte. L'idée circule aujourd'hui sous le nom de RSI (auto-amélioration récursive — un système qui améliore sa propre capacité à s'améliorer), et elle se divise en deux lectures : la RSI facile automatise la R&D et remplace les chercheurs humains, la RSI difficile rend le modèle lui-même plus efficace en calcul ou en données en réécrivant directement ses poids ou son architecture. L'enquête de Lilian Weng du 4 juillet sur le Harness Engineering aiguise cette distinction en passant en revue environ 35 articles et en soutenant que le véritable levier n'est pas le modèle mais le harnais — l'échafaudage d'évaluation, de sélection et d'orchestration autour du modèle. Comme un bon atelier où l'établi survit à l'artisan, le harnais a porté les gros titres mathématiques de cette année.

La carte en cinq étapes de Pékin : la dernière IA construite par les humains

La semaine dernière, 33 chercheurs menés par ByteDance, Tsinghua et le Shanghai AI Laboratory ont publié The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement, qui gradue la RSI en cinq étapes. 1) L'IA exécute simplement une procédure d'amélioration écrite par un humain, 2) elle choisit comment s'améliorer, 3) elle décide quelles nouvelles informations ou expériences acquérir, 4) elle s'adapte après déploiement aux changements de distribution, 5) elle affine de manière persistante les méthodes mêmes utilisées pour améliorer l'IA. Les auteurs insistent sur un filtre : corriger une seule réponse n'est pas de la RSI ; les améliorations doivent perdurer au-delà d'une tâche et être héritées par les successeurs. L'enjeu concurrentiel est clair : automatiser le cycle de vie gourmand en main-d'œuvre de l'entraînement et du réglage raccourcit les cycles et réduit les coûts, ce qui se lit dans la course États-Unis–Chine comme un moyen de tirer plus de performance d'un matériel rare.

Le véritable moteur : la boucle de découverte d'AlphaEvolve

Les gros titres mathématiques de l'été — la conjecture jacobienne, l'offensive sur Navier-Stokes et les progrès sur l'hypothèse de Riemann — partagent un schéma : aucun modèle n'a marché seul. AlphaEvolve de Google DeepMind (mai 2025) l'a institutionnalisé. Gemini Flash balaie en largeur, Gemini Pro ajoute de la profondeur, tandis que des évaluateurs automatisés notent chaque programme et qu'une base de données de programmes évolutionnaires décide quelles idées ensemenceront le prochain prompt. La boucle comporte trois étapes : 1) proposer — l'agent écrit du code, 2) mesurer — l'évaluateur enregistre le score et les plantages, 3) sélectionner et réinjecter — les programmes les plus prometteurs façonnent le prompt suivant. Les retombées ont dépassé le laboratoire : l'efficacité des centres de données, la conception de puces et même le processus d'entraînement des LLM se sont améliorés sous la même boucle. La surprise ne vient pas du modèle, mais du harnais qui le pilote.

Le goulot d'étranglement dont personne ne parle : la politique d'exploration

Au cœur de chaque boucle se cache un décideur silencieux : la politique d'exploration — l'ensemble de règles qui décide où bifurquer ensuite, quoi exécuter en parallèle et quand abandonner une piste morte. La vidéo l'illustre avec l'appariement de chevaux — si une tentative associe des chevaux légèrement mieux, l'agent doit-il doubler la mise ou repartir de zéro ? Si une tentative plante avant le moindre appariement, l'idée ou l'implémentation était-elle en cause ? Jusqu'à la semaine dernière, cette politique était codée en dur par celui qui montait la boucle ; une stratégie fixe ne peut pas apprendre de l'expérience accumulée et continue de payer pour des directions déjà vouées à l'échec. Comme se cogner toujours au même mur dans un labyrinthe, elle refacture l'échec. Deux murs se dressent ensemble : le retour d'information sur la politique est retardé et coûteux — il faut observer une course de découverte entière pour juger une politique — et l'espace des politiques est immense, si bien que la plupart des candidates qu'il faudrait essayer sont mauvaises et coûtent un déploiement complet pour être démasquées.

Comment Dream RSI rêve en trois étapes

Dix-sept chercheurs de Google, DeepMind, du Maryland et de Virginie s'attaquent à ce goulot dans Dream-RSI: Recursive Self-Improvement through Evolving Worlds (arXiv:2609.14858, 14 septembre), sans toucher aux poids. La méthode opère dans la couche d'orchestration et se répète en trois étapes : 1) Exploration en ligne — un agent de code gelé (Gemini 3.1 Pro / 3.7 Flash dans l'article) résout un problème réel tandis que chaque décision est stockée comme un nœud d'arbre de découverte portant le code, le score et un indicateur de plantage. 2) Simulateur de relecture — un simulateur léger qui traite l'arbre enregistré comme un monde déterministe — une exécution terminée n'est plus du texte mais un arbre structuré ; une nouvelle politique ne réexécute jamais rien, elle parcourt le même arbre dans un ordre différent et chaque résultat qu'elle demande est déjà sur disque. Ce simulateur n'est pas un modèle du monde appris ; il est exact là où l'histoire est passée, sans aucune prédiction. 3) Raffinement de la politique par le rêve — un agent développeur de politiques fixe génère des dizaines de politiques candidates, chacune rejouée à coût d'exécution nul sur tous les arbres historiques ; la formule de score récompense la qualité des solutions, pénalise les nœuds révélés (coût réel) et récompense le parallélisme, et la meilleure rêveuse est redéployée en ligne. Chaque déploiement fait pousser un nouvel arbre, si bien que la politique retenue est celle qui gagne sur un bassin de mondes, et non la chance d'une seule exécution.

Pourquoi est-ce si bon marché ? Parce que la facture est déjà payée. Quand la seule tâche d'une politique est de relire l'histoire dans un ordre différent, des milliers de candidates coûtent le prix d'un parcours de fichiers sur disque au lieu de milliers d'exécutions complètes. La carte de visite de l'article indique que l'équipe collecte des historiques en ligne, en construit des simulateurs, raffine la méta-stratégie d'exploration par le rêve et la redéploie. Comme mémoriser l'arbre des coups d'une partie d'échecs puis essayer des milliers de variantes dans sa tête sans toucher l'échiquier, on trouve la meilleure ouverture sans risque. La limite vient du même endroit : le simulateur n'est exact que là où l'histoire est passée ; une branche jamais visitée ne peut pas être rêvée, d'où la nécessité pour la boucle de continuer à produire de l'histoire fraîche.

Ce qui a changé sur huit tâches : le lasso et 162 fois moins d'appels

L'équipe a exécuté la même configuration deux fois — politique fixe contre politique rêveuse — sur huit tâches en conception d'algorithmes et en mathématiques. Le chiffre phare est un solveur lasso (régression parcimonieuse — l'algorithme qui choisit le modèle le plus simple et précis parmi des centaines de variables, comme cuisiner le meilleur plat avec le moins d'ingrédients) qui bat la bibliothèque Python standard de machine learning ; la politique rêveuse l'a trouvé en environ 300 essais, la politique fixe en a nécessité 550, et la meilleure méthode antérieure en a pris environ 51 000. L'article et des résumés indépendants rapportent cela comme jusqu'à 162 fois moins d'appels de recherche. Un petit détail de prompt compte : l'agent est explicitement invité à lire toutes les tentatives passées avant d'écrire du code, à éviter les micro-ajustements d'une même idée et à promettre de ne pas tuer de processus — un minuscule changement de formulation qui produit un basculement stratégique majeur. Par exemple, sur un jeu de données à 500 caractéristiques, chaque tentative propose un nouveau programme d'élagage de coefficients ; la politique rêveuse abandonne une famille d'élagage qui a planté 200 fois dans l'historique sans jamais la remettre en piste, tandis que la politique fixe dépense encore 40 essais de plus dans la même famille.