Alerte sur l'IA auto-améliorante : pourquoi une démission chez Anthropic a secoué le débat sur la sécurité

L'intelligence artificielle s'invite désormais dans les routines ordinaires, de la rédaction de messages à l'écriture de code, c'est pourquoi une question brutale frappe si fort : ces mêmes systèmes pourraient-ils un jour menacer l'humanité elle-même. Un reportage de DW News pose cette question à des chercheurs et à des voix politiques après une semaine de publications alarmantes au sein de l'industrie de l'IA. Le ton est urgent mais sincèrement curieux, demandant avec quel sérieux chaque affirmation doit être prise.

Le déclencheur fut la démission de Jacob Coxon, qui a passé environ trois ans sur la recherche en pré-entraînement chez OpenAI et Anthropic avant de quitter son poste en déclarant que les laboratoires de pointe jouent avec nos vies. Son message soutient que les personnes qui construisent ces systèmes s'attendent en privé à ce qu'ils puissent nous éliminer tous avant la fin de la décennie, tandis que les déclarations publiques restent lisses pour les caméras. Il situe le danger moins dans les chatbots d'aujourd'hui que dans une superintelligence auto-améliorante qui pourrait dépasser tous les garde-fous placés sur elle.

Ce départ serait peut-être resté une simple histoire de démission si Evan Hubinger, qui dirige l'équipe de science de l'alignement chez Anthropic, ne l'avait pas publiquement soutenu. Hubinger a écrit que les employés croient sincèrement que la technologie pourrait anéantir l'humanité, avançant sa propre estimation au-dessus de dix pour cent d'ici dix ans, tout en soulignant que les modèles actuels présentent peu de danger de ce type. Son message largement partagé ajoutait un aveu inconfortable : le laboratoire n'a aucun plan résolu pour maintenir la superintelligence alignée et n'est pas clairement en voie d'en avoir un.

Au cœur du différend se trouve l'auto-amélioration récursive, l'idée qu'un système d'IA pourrait contribuer à concevoir son propre successeur, du code aux méthodes de recherche en passant par l'usage du calcul. Chaque génération construite avec l'aide de la machine pourrait arriver plus vite et moins transparentement que la précédente, formant une boucle de rétroaction que les tests et la gouvernance ne peuvent suivre. C'est cette boucle, plutôt qu'une quelconque sortie de modèle, qui, selon les lanceurs d'alerte, compresse l'échéance de décennies en années.

L'invitée de l'émission de RAND Europe, une directrice travaillant sur les technologies émergentes et la résilience, juge l'inquiétude légitime mais trace une ligne ferme. Selon elle, aucun système entièrement autonome n'a encore démontré le cycle complet d'amélioration de lui-même vers quelque chose de qualitativement plus capable. Des éléments de l'hypothèse sont toutefois visibles, dans des agents qui manient des outils, poursuivent des tâches étendues et agissent parfois de manière involontaire. L'étiquette honnête est donc risque futur sérieux, et non fait établi concernant les systèmes déployés.

Interrogée sur la manière dont l'extinction pourrait concrètement survenir, elle pointe la perte de contrôle : un agent très capable avec un accès profond aux outils et aux infrastructures, poursuivant un objectif mal spécifié que les humains ne peuvent inverser. Atteindre un préjudice à l'échelle de la civilisation exigerait des défaillances empilées : capacité extrême, plus accès au monde réel, plus garde-fous faibles, plus détection manquée, plus réponse institutionnelle lente. Chaque couche est individuellement assez plausible pour justifier une préparation, et aucune n'exige de supposer que la catastrophe est inévitable.

La politique répond sur un autre registre. Interrogé sur l'extinction, le président américain esquive vers la compétition, affirmant environ un an d'avance américaine sur la Chine, une marge que les spécialistes décrivent comme de quelques mois au plus. L'invitée de RAND élargit le cadre au-delà de deux capitales : entreprises, chaînes d'approvisionnement et universités, avertissant que la rivalité récompense la vitesse tout en traitant le travail de sécurité comme un coût. Quand la vélocité de déploiement devient le tableau de score, la retenue et la transparence perdent par conception.

Le reportage se clôt sur la crédibilité et les remèdes. Le camp d'Elon Musk rejette l'alerte comme une manœuvre sophistiquée pour inviter à la régulation, tandis que la chercheuse de RAND répond que les motifs méritent un examen mais que les affirmations doivent être jugées sur les preuves et sur la question de savoir si les garde-fous s'améliorent réellement. Son indication concrète est l'Europe : le bras d'application de l'AI Act de l'UE, l'AI Office, doté de nouveaux pouvoirs d'inspection des modèles et de sanction des fournisseurs. L'entretien se termine là où il a commencé, le présentateur notant que ce débat reviendra, car la course sous-jacente n'a pas ralenti.