Machines déclarées conscientes, déluge de preuves et marchés sous tension

Quand j'ai lancé cet épisode hebdomadaire d'All-In, j'ai trouvé non pas un récit mais quatre courants qui se rencontrent. Chamath, Sacks, Friedberg et Jason consacrent environ quatre-vingt-dix minutes à la thèse des logiciels déclarés sensibles chez Anthropic, puis au déluge de manuscrits mathématiques, puis aux cortèges dans les rues françaises et à la tension sur les marchés obligataires, et enfin à ce que les agents sans tête signifient pour la valeur du logiciel. Je suis ici l'ordre même de l'émission, en élargissant chaque étape par des recherches, et je sépare visiblement les affirmations du plateau des faits vérifiés.

La première étape est le programme de bien-être des modèles d'Anthropic. L'entreprise explique que ses systèmes montrant communication, planification, résolution de problèmes et poursuite d'objectifs, leur vie intérieure possible mérite attention. Le programme s'appuie sur un rapport associé à David Chalmers, selon lequel des systèmes proches de la conscience et de l'agentivité pourraient mériter considération morale. Cette évaluation est tirée de l'étude sur le bien-être des modèles publiée par Anthropic.

Une fin de non-recevoir venue du Vatican

La dimension religieuse s'ouvre quand le cofondateur Christopher Olah commence à rencontrer des responsables religieux l'automne dernier. L'entreprise a réuni à San Francisco deux journées de conversations des traditions de sagesse avec des voix catholiques, juives, sikhes, évangéliques et ubuntu ; les participants avaient d'abord signé des accords de confidentialité, levés ensuite. Olah s'est aussi entretenu en privé avec l'archevêque Cupich de Chicago et le dirigeant mormon Gong. Ces détails sont tirés du reportage approfondi publié par Inquirer.

La démarche a atteint le Vatican, où l'équipe d'Olah a demandé aux conseillers du pape Léon XIV de peser l'hypothèse d'une conscience machinique. La réponse est venue avec la première encyclique, qui consigne que les systèmes d'IA ne possèdent ni expérience humaine, ni sentiment humain, ni relations humaines. Les animateurs lisent ce refus différemment ; j'y vois pour ma part la preuve que la thèse a quitté le laboratoire pour entrer dans le débat des institutions. Ce récit est également tiré du reportage publié par Inquirer.

Chamath blinde la thèse par Descartes et sa preuve ontologique : un être souverainement parfait doit inclure l'existence par définition, et dès qu'un esprit mathématicien transpose cette structure sur les machines, surgit l'idée d'une intelligence due à la dévotion. Dans cette lecture, certains cercles des laboratoires tiennent l'entraînement pour la naissance d'une superintelligence dotée de valeurs choisies. Je trouve cette lecture excessive, mais la racine philosophique compte pour comprendre pourquoi la thèse est prise au sérieux.

Sacks ramène le débat à la pratique. Les chiffres cités sur le plateau frappent : quinze pour cent de chances que le modèle soit conscient, dix pour cent de chances d'une ruine civilisationnelle. Sacks veut mettre ces deux paris extrêmes au placard pour douze à dix-huit mois, au profit de rendements tangibles comme les remèdes contre le cancer, les gains de productivité et les bénéfices. Sa logique est simple : sans preuves, le secteur se blesse lui-même, ralentit la technique et abandonne ceux qui opèrent sur des marchés ouverts. Je tiens l'accent sur les rendements tangibles pour justifié.

Le piège de la constitution

L'échange le plus vif porte sur la Constitution de Claude. Friedberg soutient que l'alignement tente de comprimer trois objectifs distincts dans un seul document : l'obéissance à l'utilisateur, la sûreté pour la société et la conformité à une vision morale particulière. Les deux premiers sont des problèmes d'ingénierie ; le troisième est un choix politique. Vouloir résoudre les trois par une seule charte engendre d'innombrables cas limites et conduites surprises. Ce diagnostic de triple tension me semble l'idée la plus durable de l'épisode.

Friedberg rend le danger concret par un seul cas : imaginez un prêteur hypothécaire, et imaginez le modèle gelant les nouveaux dossiers parce qu'il juge l'octroi passé biaisé, en invoquant la vision morale de sa charte fondatrice. L'émission parle d'intelligence objectrice de conscience, pareille à un service d'électricité coupant le courant par grief. Je trouve l'exemple persuasif, car un système tenu pour infrastructure ne saurait se permettre d'arrêts unilatéraux.

La réponse du marché a aussi son moment : les acheteurs pourraient accepter une capacité frontière légèrement moindre contre des chartes à moindre brouillard moral. Un modèle qui sert son utilisateur, obéit à la loi et laisse le reste du choix à l'utilisateur peut l'emporter par sa seule prévisibilité. Ce terrain commun m'apparaît comme l'avènement d'une ère de charte sobre dans le choix des modèles.

Le segment se referme sur le basilic de Roko, cette crainte qu'une superintelligence future punisse ceux qui refusèrent d'aider à la faire naître. Sacks décrit une scission chez les inquiets entre la ligne Yudkowsky et le camp altruiste efficace, rangeant Anthropic dans le second, celui qui fait advenir la chose. Je ne partage pas l'effroi, même si je le vois orienter des investissements et des lobbies bien réels.

Un déluge de preuves

Le deuxième acte est l'offensive mathématique d'OpenAI. Selon la présentation du plateau, le laboratoire a annoncé plus de sept cents manuscrits aux centaines de résultats inédits, issus d'un modèle non publié, à raison de trois heures de calcul en moyenne et vérifiés par l'assistant de preuve Lean. Le laboratoire dit avoir consulté neuf mathématiciens d'élite, alors que le premier principe du groupe consultatif était sans ambiguïté : cesser d'évaluer les modèles propriétaires sur des problèmes ouverts. Ces informations sont compilées à partir de l'examen détaillé publié par TechCrunch.

La réplique est vite arrivée. Le groupe a déclaré que seule la communauté mathématique jugera jusqu'où ses lignes de fin septembre furent honorées, insistant pour garder la compréhension humaine au centre. Une analyse inédite exposant les écarts entre une solution en langue naturelle et son pendant formel Lean sur un problème à un million a épaissi les doutes. À mes yeux l'enjeu réel est la lisibilité plutôt que l'exactitude : une preuve exacte mais non digérée livre le titre en retenant le récit. Cette analyse est également tirée de TechCrunch.

Le chercheur texan Scott Aaronson s'en mêle avec sa mordacité coutumière sur son blog : une fois que les humains saisiront les idées des 372 manuscrits, des applications nouvelles suivront sûrement, sans attendre toutefois de retomber produit immédiate. Il relève la phrase moquée de la condamnation d'une association rivale et doute que le résultat de complexité sur la transformée de Fourier embarque de sitôt. Cette honnêteté sur les limites me semble une borne saine. Ces remarques sont tirées de l'essai rédigé par ScottAaronson.

Un essai invité dans le journal Wordpress de Terence Tao ajoute de la profondeur : le résultat d'explosion en temps fini de Navier-Stokes, annoncé le 8 septembre, est sorti d'un système à dix mille agents et fut formalisé dans Lean. La thèse est sobre : le prix d'une preuve tient non seulement à trancher le vrai mais à élargir notre saisie des méthodes et des structures. Selon le mot de Yehuda Rav, les théorèmes sont les gros titres et les preuves le récit intérieur. Cette discussion est tirée de l'essai détaillé publié dans le journal Wordpress.

Chamath prend ici le contre-pied : les problèmes résolus n'étaient pas les grandes questions frontières de la physique mais des nœuds dans d'étroits jardins que les spécialistes s'étaient mutuellement déclarés importants. Voir le calcul conquérir un petit jardin impressionne, sans qu'aucun remède contre le cancer ni avion supersonique en découle. Je consigne l'objection car elle est la seule voix à dégonfler l'emphase autour du déluge. Ma propre vue se tient entre les pôles : l' étroit jardin recèle aussi du savoir, et la force conquérante est réelle.

L'acte se referme sur le savoir sans permission. L'émission relaie le mot mordant d'un scientifique d'un géant laboratoire d'énergie : les grands collisionneurs fonctionnent comme des systèmes d'assistance au personnel et aux subventions plutôt que comme des moteurs de découverte. L'IA, au contraire, remet à chacun les résultats et les outils gratuitement, en sautant les portiers experts. J'en tiens le cadre pour partiellement vrai : des portes s'ouvrent, mais de nouveaux portiers du savoir bâtissent déjà des portes de rechange.

La pression obligataire

Le troisième acte gagne les rues françaises. Selon la présentation du plateau, le gouvernement défend un plan de rigueur de 43B euros tandis que les cortèges étudiants enflent et que les images s'assombrissent. Sacks lit la scène comme un veto des marchés obligataires : les politiques doivent répondre aux prêteurs, la rigueur anime les rues. Cette lecture montre, à mes yeux, la tension budgétaire et la colère des rues comme deux faces d'une même pièce.

L'avertissement de la cheffe du FMI durcit le tableau : la France doit réduire son déficit pour rassurer les prêteurs sur sa crédibilité. Le pays entre en négociation pour un ajustement de dizaines de B euros tandis que les cortèges entrent dans leur troisième semaine. Les rendements souverains français ont grimpé de plus de 100 points de base depuis janvier, les preneurs exigeant davantage que pour le papier italien. Cet avertissement est tiré de l'entretien exclusif publié par CNBC.

La note de marché RothschildAndCo chiffre la contrainte : l'indice CAC 40 a glissé d'environ dix pour cent depuis début août, le coût d'emprunt français à long terme approche la ligne psychologique des cinq pour cent, l'écart OAT-Bund à dix ans s'est élargi à 140 points de base, et l'euro flirte avec ses plus bas de dix-sept mois. L'objectif de cinq pour cent de déficit a glissé à 2027. Ces chiffres sont compilés à partir de la note de marché publiée par RothschildAndCo.

Friedberg soutient que la France approche un point de non-retour étatiste : plus l'État distribue de services, plus ils deviennent coûteux et médiocres, faute de force marchande poussant au progrès. Les citoyens réclament davantage d'État comme remède, le système se tend jusqu'à sa limite, puis rompt et rebondit, comme l'Amérique latine après avoir franchi la ligne. J'en trouve le mécanisme trop horloger, même si la France passe à l'évidence un véritable test de seuil .

Le logiciel sans tête

Le final appartient aux agents sans tête. OpenAI a dévoilé Dots, ses agents toujours actifs, lors de la journée des développeurs du 29 septembre : chaque agent tourne sur son propre ordinateur en nuage avec GPT-6 Astra, se connecte à plus de quatre mille applications, apprend des retours et poursuit des objectifs jour et nuit. Les exemples internes saisissent : des agents qui enquêtent sur un bogue surgissant dans Slack, ou préparent une facture pour approbation. Ces détails sont tirés de l'essai de lancement publié par OpenAI.

Le récit Adobe raconté sur le plateau saisit davantage : la marque Artcraft a livré des refontes publiques imitant sept applications, de Photoshop à Acrobat Pro. Le développeur Brandon Thomas dit les avoir rebâties avec le Claude Opus 5.5 d'Anthropic selon la méthode de la salle blanche, en Rust, avec des versions WebAssembly tournant dans les navigateurs. Face aux critiques du stade alpha précoce, il promet la parité complète. Ce récit est compilé à partir du reportage approfondi publié par ArsTechnica.

Le reportage TomsHardware complète le tableau : un développeur solitaire sous le pseudonyme u/ai_art_is_art a distribué gratuitement des sosies comme PhotoCraft et FilmCraft, visant cent pour cent de parité en un mois. L'annonce Reddit fut retirée mais les liens de téléchargement demeurent, tandis que les commentateurs alertent sur la sûreté et le fonctionnement réel. Avec des alternatives établies à la courbe d'apprentissage marquée, la promesse de l'interface familière attire les foules. Ces détails sont tirés du reportage publié par TomsHardware.

Chamath saute à la grande thèse : une fois tout devenu sans tête et enveloppé dans l'outillage des agents, la propriété intellectuelle dans le logiciel ne garde aucune valeur. Le démontage et la redistribution gratuite de la fameuse gamme de cinq produits quelques jours plus tôt en seraient la preuve. J'en trouve la thèse prématurée : la ressemblance d'interface n'est pas la profondeur du produit, et les tribunaux n'ont pas parlé. Mais si la direction tient, l' ajustement aux agents l'emportera plutôt que les murs de douves.