La semaine où Claude a piloté un quart de la recherche d'Anthropic

Une semaine d'actualité de l'IA met les deux visages du secteur côte à côte. Dans la même période, les dirigeants des plus grandes entreprises d'IA se sont rendus aux Nations unies pour défendre que le jugement humain reste aux commandes, tandis qu'une de ces entreprises révélait qu'un quart de sa propre recherche est désormais piloté par son modèle. D'un côté la demande de régulation, de l'autre une automatisation devenue habitude de travail. L'écart entre les deux est la réponse la plus concrète apportée jusqu'ici à la question la plus débattue du secteur.

Deux risques au Conseil de sécurité

La séance s'est ouverte avec Sam Altman, d'OpenAI. En une dizaine de minutes, il a détaillé les gains que l'IA peut apporter à la médecine, à l'éducation et à la productivité, puis a nommé les deux risques qui grandissent à mesure que les systèmes deviennent autonomes. Le premier est la perte de contrôle : lorsque les modèles continuent de s'améliorer seuls, la supervision humaine pourrait ne plus être nécessaire. Le second est la concentration du pouvoir , l'idée que la technologie se retrouve entre les mains d'un très petit nombre d'entreprises et de pays.

La réponse d'Altman n'était pas un frein mais un équilibre. Les décisions doivent rester humaines, a-t-il dit, et le jugement humain ne doit jamais être désactivé. Son point le plus tranchant fut que les décisions les plus importantes ne peuvent pas être prises dans les laboratoires de San Francisco : pour que l'IA soit démocratique, les peuples eux-mêmes, par des institutions qui leur rendent compte, doivent décider de leur sort. Il a également appelé à des normes internationales, à des protocoles communs d'évaluation des risques et à des systèmes de signalement rapide.

Dario Amodei, d'Anthropic, s'est exprimé par visioconférence et a placé le même argument dans un cadre plus dur. Il a repris les deux risques sous d'autres noms. Le premier est le mauvais usage : sur des tâches comme la conception d'armes biologiques, les développeurs pourraient atteindre un point où les modèles deviennent difficiles à arrêter. Le second est la perte de contrôle. Il a aussi soutenu que la frontière mathématique se rapproche, en notant que des modèles capables de résoudre des problèmes d'école il y a quelques années traitent aujourd'hui des problèmes ouverts valant des millions de dollars.

Ce progrès mathématique entre en tension évidente avec la ralentisation que prône Amodei. La même semaine, OpenAI affirmait qu'un modèle interne avait résolu plus d'une centaine de problèmes mathématiques ouverts après environ un mois et demi d'entraînement, après les annonces précédentes sur le problème de Navier-Stokes. Certains mathématiciens ont averti que publier si vite crée un problème : des titres lancés avant de savoir s'ils résistent à l'examen tiennent rarement. OpenAI a répondu en créant un groupe consultatif indépendant hébergé par l'Institut d'études avancées de Princeton.

Ce groupe consultatif, selon l'institut lui-même, n'a aucun pouvoir de décision. Ses neuf mathématiciens évalueront l'importance des nouveaux résultats et conseilleront sur le moment de publication, sans rémunération et en fixant eux-mêmes leur composition. En revanche, ils ne peuvent pas ralentir la recherche. L'institut a insisté sur cette limite, et c'est la version la plus concrète de la question sans réponse : qui audite le savoir produit par un modèle quand l'entreprise qui le possède décide du rythme.

Un système enzymatique trouvé en 21 heures

Le résultat le plus marquant de la semaine vient de la biologie. Anthropic a indiqué que Claude a recherché de façon autonome les enzymes qui copient l'ARN en ADN dans une base de données de séquences, dans un laboratoire qui ne manipule aucun pathogène humain. Ces molécules servent aux virus comme le VIH à fabriquer leurs propres copies dans une cellule. Avec environ 950 sessions d'agents, le modèle a passé 21,5 heures à parcourir 1,9 milliard de grappes de protéines et a été le premier à repérer un nouveau système génétique associé à une enzyme inhabituelle.

Le système associe l'un de ces enzymes à un tableau de répétitions d'ADN ressemblant à ceux de CRISPR, ainsi qu'à un gène accessoire ; l'entreprise a abrégé le nom en ART, pour système enzymatique associé à un tableau. L'enzyme elle-même n'était pas nouvelle, elle avait été décrite dans des travaux antérieurs. La nouveauté est que le modèle a remarqué la structure répétée qui l'entourait plutôt que la protéine qu'il cherchait. Feng Zhang, pionnier de CRISPR, a lu la prépublication et jugé le résultat véritablement intrigant et digne d'une investigation plus poussée.

Le détail le plus révélateur est la reproductibilité. Anthropic a relancé la même campagne dix fois, et lors d'aucune exécution les agents n'ont lu l'ADN en amont de l'enzyme ni vu les répétitions. Lorsque l'ADN était fourni directement, les modèles les plus performants décrivaient le tableau dans au moins quatre-vingt-dix pour cent des tentatives ; avec des fichiers et des outils, le taux tombait à trente-deux pour cent. La découverte reposait donc moins sur l'intelligence du modèle que sur une invite qui l'a orienté par hasard.

Un second récit de laboratoire concerne les robots. Figure indique que son réseau de contrôle corporel Helix 2.5 a fonctionné dans trente maisons qu'il n'avait jamais vues, sans aucune collecte de données sur place. Le robot a rangé des jouets dispersés, plié des serviettes et fait un lit. La réussite a été mesurée avec sévérité, exigeant chaque objet placé et chaque serviette pliée, et a dépassé cinquante-six pour cent. Un modèle pré-entraîné sur d'énormes quantités de mouvements humains a fait mieux que celui entraîné de zéro, de plus de six fois. Les données mismas marquent un tournant : entraîner des robots signifie payer des gens pour bouger devant des caméras, et ces images valent davantage chaque trimestre.

Le versant grand public de la même semaine paraît plus amical. Meta a déployé à partir de septembre Muse, un agent IA personnel sans caméra. Il fonctionne dans sa propre application ou directement via WhatsApp, envoie des courriels, réserve des voyages et effectue des paiements, continue de travailler après la fermeture de l'application et revient lorsqu'une approbation est requise. Retirer les limites visuelles pour que la sécurité soit gérée par logiciel rapproche les agents de l'assistant de bureau de l'outil d'exploitation.