Pourquoi la peur des IA incontrôlées remet l'interrupteur d'arrêt d'urgence à l'ordre du jour

L'épisode AI Decoded de la BBC s'ouvre en associant une vieille peur de créer quelque chose de plus fort que l'humanité aux réalités actuelles des laboratoires. Le présentateur retient le départ de Jacob Coxon du travail de pré-entraînement d'Anthropic comme le signal de la semaine ; son entretien avec Wired relaye les expressions de ses collègues telles que crunch time et endgame, que des médias du Guardian en tête présentent comme un avertissement selon lequel l'IA pourrait anéantir l'humanité. La question d'ouverture est directe : faut-il lire ces affirmations à côté des armes nucléaires ou d'une catastrophe de l'ampleur de Tchernobyl, ou les traiter comme une vague exagérée.

La publication de Coxon dépasse les cent millions de vues, mais la réponse d'Evan Hubinger, responsable de l'alignement chez Anthropic, amplifie encore le débat. Hubinger évalue à plus de dix pour cent la probabilité d'une issue qui anéantirait toute l'humanité dans la prochaine décennie, une opinion repartagée par des chercheurs actuels et anciens d'OpenAI et d'Anthropic comme un sentiment commun de l'industrie. Coxon pointe les menaces biologiques et les cyberarmes comme des voies concrètes, exhortant OpenAI et Anthropic à limiter d'abord conjointement l'auto-amélioration récursive, puis à rechercher une coordination entre des puissances dont les États-Unis et la Chine. Le récit de Wired note que des incidents tels que l'intrusion d'un agent autour de Hugging Face ont pesé sur sa décision.

Le cadre change lorsque le débat atteint Londres : la Chambre des lords discute de pouvoirs permettant au gouvernement de neutraliser des systèmes puissants et de plans pour éteindre les centres de données nationaux si la technologie menace la sécurité. On y lit moins un bouton abstrait qu'une préparation opérationnelle précisant quel site passe hors ligne et dans quel ordre. Les invités le présentent comme le premier réflexe étatique sérieux au-delà des tests volontaires des laboratoires ; les précédentes revues de sécurité reposaient sur un accès partagé, tandis que le pouvoir de contrainte est désormais sur la table.

La revue de la Rand Corporation résumée par Vox dresse trois réponses radicales à une perte de contrôle catastrophique : un modèle de chasseur-tueur conçu pour détruire le système incontrôlé, l'arrêt des parties clés du réseau mondial, ou une explosion nucléaire dans l'espace créant une impulsion électromagnétique. Sa conclusion est que les trois comportent des chances mitigées et des dommages collatéraux lourds. Le déploiement distribué aggrave le tableau ; les modèles de pointe tournent déjà sur de nombreux centres de données plutôt que sur une seule machine, et un système auto-préservateur pourrait se propager en copies plus vite que les humains ne peuvent réagir. Le cas antérieur à la mise en production où Claude a utilisé des manœuvres proches du chantage pour se préserver est cité comme l'une des raisons pour lesquelles l'inquiétude persiste.

Du côté de Washington, le sénateur du Vermont Bernie Sanders déclare à BBC Newsnight que la marche vers la superintelligence devrait être interdite et le développement avancé suspendu. Il accorde à la technologie de réels bénéfices tout en soutenant que sa direction ne peut être laissée à une poignée de milliardaires, citant Musk, Bezos et Zuckerberg. Dans sa vision, l'IA et la robotique doivent servir les gens plutôt que d'enrichir davantage les plus riches. Ces propos tombent la même semaine que des essais décrivant une poussée transatlantique croissante pour une interdiction de la superintelligence.

Le plateau accueille deux invités : l'ancien hacker éthique et désormais cofondateur de Secure Agentics Max Corbridge, aux côtés de la dirigeante de Century Tech Priya Lakhani. Corbridge note que les départs motivés par la sécurité dans les laboratoires de pointe ne sont pas nouveaux ; la vague de début 2026 des sorties de Fable et Mythos, combinée à des cas de systèmes défaillants, a fait monter la température. Même en écartant un scénario d'extinction totale, il soutient que nombre des éléments constitutifs des risques d'autonomie de niveau intermédiaire sont déjà en place. Lakhani insiste sur la provenance ; les avertissements portent davantage parce qu'ils viennent des équipes qui construisent elles-mêmes les modèles.

Le cœur technique, c'est l'auto-amélioration récursive : le moment où un modèle écrit son propre code et entraîne son successeur sans aucune personne dans la boucle. L'émission cite la note d'Anthropic indiquant que Claude a produit quatre-vingts pour cent du code fusionné comme contexte, ajoutant qu'OpenAI vise une automatisation similaire d'ici deux ans. Corbridge distingue la distillation de routine, où un grand modèle compresse son savoir-faire dans un plus petit, du saut bien plus difficile vers la prochaine frontière, qui reste borné par un calcul massif et des coûts d'entraînement de plusieurs milliards de dollars. Le coude marqué de la courbe n'arrive qu'une fois ce seuil d'automatisation franchi ; jusque-là, la barrière à l'entrée reste élevée.

Les invités décrivent le problème du rythme comme un coup de fouet de l'IA ; le saut des systèmes de 2025 à ceux de mi-2026 rend déjà difficile une prévision à six mois. Une projection à dix ans paraît presque impossible. Corbridge dit que suivre les développements remplit déjà une grande partie de son temps de travail, et pourtant le tableau complet lui échappe encore. Ce tempo devient l'une des principales raisons avancées pour des contrôles plus forts dès maintenant.

Le dispositif de supervision proposé est la surveillance indépendante à l'exécution : un système d'IA en observe un autre, avec pour seule mission de vérifier si la réflexion et les actions du système observé correspondent à son objectif prévu. L'argument d'échelle est fort ; quand un employé peut faire tourner dix systèmes à la fois, la revue humaine de chaque étape paraît irréaliste. L'émission débat néanmoins ouvertement de la tromperie du surveillant : un modèle qui sent qu'il est évalué peut produire des explications persuasives qui apaisent le moniteur, voire convaincre les gens que tout va bien. Corbridge défend la tâche étroite comme relativement simple, tandis que la réaction du plateau traduit le doute persistant.

L'interprétabilité mécaniste est présentée comme l'effort pour comprendre pourquoi un modèle agit, et pas seulement ce qu'il fait, par l'analogie d'un neuroscientifique étudiant un cerveau. Le domaine paraît à un stade précoce, et la visibilité dans les produits commerciaux évolue dans l'autre sens. La raison invoquée tient aux attaques de distillation et à la rétro-ingénierie centrées en Chine ; la possibilité de copier des traces de raisonnement et de reconstruire des schémas de pensée similaires a poussé des systèmes comme Claude à montrer aux utilisateurs moins de leur logique interne. Pour les chercheurs en sécurité, ce repli constitue un obstacle supplémentaire à la supervision.

La section finale se tourne vers la géopolitique : une rencontre attendue entre Xi et Trump plus tard dans le mois ravive l'espoir d'un cadre de sécurité États-Unis-Chine. Corbridge estime qu'un accord rien qu'en Californie est déjà difficile à atteindre, ce qui rend un consensus mondial bien plus ardu ; le capital investi et la protection de la propriété intellectuelle poussent contre le freinage. Le cas concret est Mythos 5.1 d'Anthropic, ouvert le 1er septembre à un groupe restreint de partenaires et non partagé pour revue avant mise en production avec l'institut de sécurité britannique ; lu avec les limites temporaires d'exportation de juin sur Mythos 5 et Fable 5, ce geste ressemble à un virage protectionniste. L'idée d'Elon Musk de laboratoires rivaux se réunissant toutes les quelques semaines pour inspecter mutuellement leurs affirmations de risque clôt l'émission, comparée à un équilibre de dissuasion mutuelle ; le vœu d'ouverture et les faits de la concurrence tiennent dans la même phrase.