Les modèles open source peuvent-ils suivre le rythme d'OpenAI et d'Anthropic ? | Nathan Lambert

Quand j’évoque les progrès des modèles, je pense aux différentes formes de capital : le calcul, les données et les talents. Et c’est bien ce qui se joue aujourd’hui en termes de qui va l’emporter dans les prochaines années. Les Chinois excellent dans la construction de modèles. Affirmer que la Chine manque de talents relève de la gageure. Ce qui leur fait défaut, c’est la puissance de calcul. La plupart des gens considèrent la distillation comme leur principal levier pour y parvenir. On me distille mes produits tous les jours : ils les décomposent jusqu’à leurs éléments bruts, la musique, et c’est ce qu’on appelle la concurrence. Auparavant, l’entraînement ultérieur reposait davantage sur le fine-tuning supervisé. Aujourd’hui, cela a évolué vers des environnements où l’apprentissage par renforcement (RL) domine. Mais il est difficile de faire correspondre ce type d’entraînement postérieur, où les complétions augmentent le score, avec ce qui se passe aujourd’hui en matière de raisonnement. Le débat actuel est marqué par une peur excessive quant à l’opacité des modèles de pointe et à leur écart croissant. Le graphique des capacités de l’IA ne m’inquiète pas pour autant.

Mais le graphique des capacités de l’IA, dans un contexte où la préparation en cybersécurité publique est quasi inexistante, et tout le reste… Nathan, je suis ravi de t’avoir ici ! Merci d’être venu en personne. C’est d’autant plus opportun que tu lances Trillium, dont j’aimerais discuter. Mais plus largement, à l’échelle macro, je pense que nous avons beaucoup parlé de l’open source, qui est au cœur de tes préoccupations. Ce que l’on entend souvent dans le débat public, c’est : *« Il faut maîtriser le front pionnier, le front pionnier… »* Et je m’interroge : qu’est-ce que ce front pionnier ? À quoi ressemble-t-il ? Que devons-nous maîtriser exactement ? Et surtout, comment l’open source et les modèles à poids ouverts peuvent-ils suivre ce front pionnier ? Je pense que c’est crucial, et c’est un sujet sur lequel tu es expert. Alors peut-être pour commencer…

Sur cet arc, comment en est-on arrivé là ? Ou plutôt, comment décomposeriez-vous ce qui nous a menés à la frontière, pour les laboratoires fermés comme pour les modèles open source ? Vous savez, comment cela se structure dans votre esprit ? Peut-être d’abord à un niveau élevé : pré-entraînement, entraînement intermédiaire, post-entraînement… Et comment le post-entraînement a évolué, ce sur quoi vous avez beaucoup éduqué le public. Quand je pense aux progrès des modèles, cela revient à différentes formes de capital qu’on y investit : le calcul, les données et les talents. Tous les laboratoires en disposent en quantités variables. Et il est clair que les laboratoires fermés à la pointe, comme ceux d’OpenAI, d’Anthropic ou de Google, en ont accumulé le plus. Ce qu’on observe, c’est la capacité variable de ces laboratoires à organiser ces ressources. Et c’est justement ce qui rend si difficile l’organisation des organigrammes pour construire des modèles – d’où les refontes complètes, parfois réussies, que certaines entreprises doivent opérer de fond en comble. Comme Meta, qui a totalement tout réorganisé et…

… et qui est désormais sur une trajectoire positive, oui, sérieusement. Je trouve cela fascinant, ces aspects humains qui expliquent pourquoi la compétition pousse la frontière technologique, et pourquoi l’organigramme est si crucial. On voit cela aussi dans la dynamique open/closed : les entreprises fermées, celles qui sont vraiment à la pointe, je conseille généralement à ceux qui veulent travailler à l’avant-garde de l’IA de se tourner vers Anthropic ou OpenAI – c’est le pari le plus sûr, selon moi. Meta, Google, SpaceX AI… Peut-être y sont-ils encore, mais c’est moins visible de l’extérieur. Ces entreprises ont pris les paris les plus ambitieux, les plus précoces, et c’est pour cela qu’OpenAI a pu lancer des initiatives comme celle qui a révolutionné les modèles de raisonnement. Ce genre de percée, et cette fameuse courbe des lois d’échelle en inférence, c’est le sommet de ce qu’a accompli OpenAI. Ils excellent à produire des graphiques qui changent la façon dont tout le monde pense les choses.

Et de l'autre côté, on a Anthropic qui s'est concentrée sur les types de tâches que leurs modèles seraient capables d'accomplir. Résultat : l'explosion de Claude Code, fruit de leur long investissement dans le domaine du codage. Il existe des cultures subtilement différentes entre ces entreprises. Je pense que ces deux sociétés en particulier ont été les plus visionnaires et les plus prêtes à dépenser des fortunes pour faire un pas dans une direction que beaucoup jugent impossible. Les entreprises chinoises sont entrées dans la course parce qu'elles veulent exister en tant qu'acteurs majeurs. Si elles avaient tenté de construire leurs modèles et de vendre une API depuis la Chine, personne n'en aurait entendu parler. Personne ne connaîtrait Moonshot AI, très peu de gens connaîtraient Jipu, et la liste est longue. C'est une décision très pragmatique de leur part. Elles suivent le discours ambiant, savent qu'il y aura un marché colossal et qu'il existe une énorme demande aux États-Unis pour ces services. C'est donc très pragmatique : publier des modèles open source est un moyen de s'immiscer rapidement dans la conversation et

de s'imposer. Je pense qu'il y a beaucoup de complexité dans cette démarche : pourquoi le font-elles ? Le gouvernement est-il impliqué ? Non, pas du tout. Elles cherchent simplement à construire une startup. Cela ne signifie pas qu'elles n'y parviendront pas : le gouvernement chinois mène des actions qui laisseraient les Américains sans voix. Cela me fait penser que les laboratoires chinois adoptent une approche bien plus sérieuse en matière de sécurité, car les mesures prises en Chine face aux entreprises sont bien plus radicales qu'aux États-Unis. Je n'ai pas besoin d'entrer dans les détails, mais c'est juste pour illustrer l'équilibre entre ouverture et fermeture. Ces entreprises chinoises cherchent à rattraper leur retard, ce qui crée une dynamique très différente de celle d'OpenAI ou d'Anthropic. Ces dernières tentent de créer de nouveaux paradigmes, de faire advenir une véritable IA générale (AGI) pour que leur entreprise domine avec les meilleurs modèles, à condition de réussir les premiers.

Et il suffit de combler les lacunes du marché. Les modèles open weight tentent de le faire, et je pense qu’avec le temps, il y aura ces différentes strates de modèles open. D’un côté, il y aura les meilleurs modèles fermés, pour lesquels on peut exiger les marges les plus élevées. De l’autre, les modèles dits « near frontier », qui sont un cran en dessous, mais qui seront open, car c’est une question d’offre et de demande. En accédant à un marché différent, moins rentable peut-être, mais par exemple si vous avez des données d’entreprise privées ou autres, ces strates sont comme des évolutions naturelles pour les entreprises qui cherchent à innover. Je pense que l’on parle ici de la frontière technologique, et c’est un peu comme en économie : moins de capital implique moins de revenus, et c’est normal. Mais cette volonté de rattraper son retard est très forte. Une fois qu’Anthropic et OpenAI ont montré le type de modèle à construire, il devient bien plus facile de savoir quoi faire.

C’est comme si l’on se disait : « Oh, il suffit de faire ça. » Et oui, ils achètent des jeux de données similaires. Cela se répercute dans toute l’économie des données : OpenAI et Anthropic dépensent énormément pour développer cette fonction industrielle, et un an plus tard, ces entreprises de données les revendent à tout le monde. Elles cherchent à maximiser leur retour sur investissement, et une fois la période contractuelle écoulée, elles peuvent le faire. Je pense qu’il y a beaucoup de dynamiques où le suivi rapide sera tout à fait réalisable. On observe ce cycle depuis un moment, bien plus longtemps que beaucoup ne l’imaginaient. Quand ChatGPT a été lancé, on parlait de la consolidation du secteur et on la prédisait. Je croyais que cela arriverait il y a deux ans déjà. Et les entreprises de modèles open ont tenu bien plus longtemps que je ne le pensais. Il y a tellement de fils intéressants à tirer ici… Je veux dire, en commençant par votre commentaire sur les différences organisationnelles entre les deux principaux laboratoires de pointe.

Tu sais, on pourrait peut-être mettre ça de côté ou continuer sur ce fil. Mais bien sûr, il faudrait aussi expliquer, ou plutôt que tu expliques comment les modèles ouverts chinois, ou les laboratoires ouverts en Chine, ont vraiment choisi cette approche davantage comme une stratégie de distribution et de commercialisation pratique, plutôt que par altruisme, même si c’est bien que les chercheurs aient été motivés, bon gré mal gré, par le partage au début. Mais au final, ça s’est perpétué parce que c’était une excellente stratégie commerciale. Donc, l’autre menace à évoquer, c’est que, tu vois, je pense que la plupart des gens considèrent la distillation comme le principal levier pour y parvenir si bien, et de mieux en mieux, car l’écart entre les modèles open source et les modèles de pointe n’a fait que se réduire ces dernières années. Maintenant, il n’est plus que de deux à trois mois. Et ça a aussi poussé les laboratoires de pointe à vouloir fermer leurs API, à restreindre l’accès à leurs meilleurs modèles pour en faire des services de première partie, probablement pour capter plus de valeur, mais aussi parce que c’est plus difficile à distiller — pas impossible, mais bien plus ardu.

Donc, sur ces deux fronts, qui sont tous deux très intéressants, on va essayer d’aborder le sujet. Commençons par le début : la distillation est-elle vraiment une caricature ? Et qu’en est-il des laboratoires chinois ? Puisque tu les as rencontrés et que tu as beaucoup étudié le sujet, est-ce qu’ils sont tous des généralistes, excellents en pré-entraînement, avec leurs propres recettes de post-entraînement, qu’ils aient ou non partagé ces détails ? Et où vois-tu les leviers qui accélèrent le processus ? Eh bien, les laboratoires chinois sont techniquement excellents. Ils manquent cruellement de puissance de calcul, c’est indéniable. Ils disposent d’un vivier de talents comparable, voire légèrement supérieur selon les endroits où se trouvaient les acteurs clés quand l’IA a vraiment décollé, mais...