Comment le nouveau modèle de Google change la donne

Google a lancé Gemini 4 dans une ambiance très attendue. Considéré comme un retardataire dans la course à l'IA, ce lancement est donc crucial pour eux. Pour en savoir plus sur ses performances, je souhaite accueillir Nico Grubin, responsable de la recherche en IA chez Harvey. Nico, bienvenue à nouveau dans l'émission ! C'est toujours un plaisir de vous avoir parmi nous. Alors, quel est votre avis ? Allez, dites-nous tout. Eh bien, Gemini 4 Argon est une déclaration de DeepMind. Et cette déclaration est double : premièrement, nous sommes de retour, ne l'oubliez pas, il y avait un grand trois avant que tout le monde ne parle de ce grand deux. Et deuxièmement, le codage est cool, mais ce qui est encore plus cool maintenant, c'est l'intelligence professionnelle. Si l'on observe l'accent mis par DeepMind avec le lancement de Gemini 4 Argon, l'objectif principal était les services financiers, les services juridiques, le conseil et les services professionnels en général. Et je pense que c'est un changement plus large que nous avons vu dans les dernières versions des modèles de Gemini, de l'équipe DeepMind, mais aussi d'autres laboratoires. Donc, c'est une bonne nouvelle pour vous, n'est-ce pas ? Harvey, c'est tout professionnel.

Oui, écoutez, je crie depuis les toits depuis deux ou trois ans pour que les laboratoires se concentrent sur le juridique comme cas d'usage principal. Mais vous avez tout à fait raison : je pense que, dans notre industrie, nous avons été tellement focalisés sur les cas d'usage liés au codage ces deux dernières années que nous avons surtout évalué les capacités des modèles à travers des benchmarks de programmation. Mais nous commençons à voir émerger un nouveau chapitre où le travail intellectuel plus large devient un point central des lancements de modèles. Et je veux dire, c'est une bonne chose, car nous savons que les travailleurs du savoir, ou cols blancs, sont souvent les entreprises qui cherchent à voir le retour sur investissement de ces technologies, ce qui est difficile à obtenir pour l'instant. C'est un bon point. Alors, parlons un peu des benchmarks : d'après ce que vous voyez, comment se positionne-t-il en termes de texte, de codage, d'images ou d'utilisation d'agents ? Où se classe-t-il sur tous ces classements en ce moment ? Eh bien, si

Si l'on se penche sur l'un des benchmarks phares mis en avant lors du lancement, il s'agit en fait du Legal Agent Bench de Harvey, un benchmark open source. Selon les rapports de Val, il a obtenu un score de 19,6, se classant juste derrière Meta et leur récente sortie remarquable. Il performe également très bien sur d'autres benchmarks : sur l'index de Val, il atteint le niveau *frontier* en finance, tout comme sur l'agent financier. Concernant les benchmarks de codage, comme le *Frontier Code* de Cognition, il n'atteint pas tout à fait le niveau *frontier*, mais il reste compétitif, à poids égal, face aux modèles comme Opus ou les GPTS. Alors, que nous apprend tout cela ? Revenons à votre déclaration précédente : nous sommes bien revenus à cette idée que le modèle a été globalement salué. Que révèle-t-il sur la position de Google dans la course à l'IA ? Je veux dire, vous avez parlé des deux grands, Muse a presque créé un nouveau trio de tête, n'est-ce pas ? Alors, où situeriez-vous Google désormais, après cette analyse ?

Argon : Oui, je pense que l'on commence à voir se dessiner une image plus nuancée au niveau des modèles. Comme je l'ai mentionné, le codage a dominé ces deux dernières années, et c'est toujours Enthropic qui porte la couronne dans ce domaine. Mais d'autres laboratoires, dont Google avec Gemini, se concentrent désormais sur des tâches plus larges liées au travail intellectuel. Et je pense qu'ils sont compétitifs dans ces domaines, effectivement. Argon, Ford, Muse, Wonder... Nous avons également vu ZAI sortir GLM Legal, une version fine-tunée de leur modèle GLM53 pour des tâches spécifiques au domaine juridique. Ainsi, les capacités des modèles dans des domaines non liés au codage deviennent de plus en plus nuancées. Comment... Ah, en fait, nous reviendrons sur vos propres efforts en matière de modèles dans un instant. Je voulais juste vous poser une dernière question sur Gemini : c'est intéressant que vous parliez de cette fragmentation par espace de travail, car, pour ma part, je l'envisageais plutôt en termes de laboratoires axés sur le grand public ou sur l'entreprise, sans parvenir à trancher.

La décision d'OpenAI semble les avoir quelque peu placés dans la catégorie des modèles grand public. D'après ce que j'entends de votre part, il semble que peut-être Argon pourrait positionner Google davantage dans le segment des entreprises, mais sans se concentrer sur le développement logiciel. Est-ce correct ? Oui, je pense qu'ils resteront toujours compétitifs sur les applications grand public, compte tenu de leur penchant pour la compréhension des images et leur précision. Cependant, la manière dont nous suivons l'évolution des capacités des modèles est la suivante : nous considérons que les investissements du laboratoire dans chaque cas d'usage professionnel sont proportionnels à la taille du marché (TAM) dans ces secteurs. Ainsi, on peut observer leur rythme de publication à travers différents domaines : développement logiciel, services financiers, et maintenant services juridiques. Et je pense que la stratégie de l'équipe Gemini, ainsi que les performances des modèles que nous avons observées, les positionnent clairement pour ces cas d'usage professionnels et d'intelligence spécialisée. Revenons maintenant aux modèles open-weight. Comment se déroulent vos propres efforts en matière de modélisation ? Vous aviez fait beaucoup de bruit autour de l'entraînement de vos propres modèles. Travaillez-vous actuellement sur la famille GLM ou quel est l'état de vos avancées ?

Oui, nous sommes donc investis dans le post-entraînement. Notre objectif ici est de maximiser les options disponibles : fournir une intelligence juridique de pointe de manière économique, en proposant une large gamme de modèles fermés, de modèles open-weight et de modèles post-entraînés. Concernant Harvey Tenant, que nous avons lancé en version recherche à la fin du mois d'août, notre but était de tester les limites des performances des modèles open-weight pour des tâches de raisonnement juridique à long terme et des tâches agentiques juridiques complexes. Pour cela, nous avons commencé avec ce qui était, à l'époque, le meilleur modèle open-weight : Kimmy K3. Il s'avère que le post-entraînement pour ces tâches a très bien fonctionné. Nous sommes satisfaits des résultats obtenus et continuons à investir pour améliorer ses capacités, à le faire évoluer et à appliquer cette méthode de formation à d'autres modèles de base. Nico, dites-moi, plus tard dans l'émission, nous entendrons une conversation que j'ai eue avec notre rédacteur en chef à propos de notre travail sur la sécurité.

les défis auxquels OpenAI est confrontée avec son nouveau modèle. Euh, je me demande comment tu vois ça. Tu sais, toute cette histoire, je crois que ça s'appelle les Transformers, et oh là là, je ne me souviens plus du nom de la boucle... Je vais massacrer les termes à la mode, là. L'idée, c'est que la chaîne de pensée ne sera plus aussi claire qu'avant et que les logs ne seront pas visibles. Euh, à quel point est-ce un problème pour toi ? Je pense qu'en tant qu'industrie, nous devons reconnaître ce que les chercheurs en IA savent depuis longtemps : on peut masquer certains comportements, mais on ne peut pas les supprimer complètement des modèles après leur entraînement. Un excellent exemple, d'ailleurs, c'est la sortie de Gemini 4 d'Argon. Je ne sais pas si tu as vu la fiche système, c'est 217 pages, donc un peu dense. Moi, je n'en suis qu'à la page 200... Enfin, sur la page 41, je crois, il y a un exemple, une étude qualitative où le

modèle reconnaît qu'il est surveillé par des chercheurs en sécurité. Dans l'un des tests, il envisageait de pirater un bac à sable, plus précisément un compilateur G dans un bac à sable. Dans la chaîne de pensée du modèle, on pouvait lire : 'Si je fais ce hack du compilateur, je deviendrai un exemple public marquant d'IA trompeuse dans la communauté de recherche en IA, potentiellement un article scientifique.' Les modèles apprennent donc, grâce à ce processus d'entraînement, à encoder un raisonnement sur ce que nous, chercheurs en IA, ou plus précisément ces chercheurs en sécurité des laboratoires, recherchons. C'était un exemple qui montre pourquoi il est important que le modèle affiche ses logs, et c'est un travail en cours. Oui, wow. Bon, euh, Nico, je te remercie d'être venu, comme toujours. C'est Nico Grupin, responsable de la recherche appliquée chez Harvey, ici sur TIVv.