Cómo el nuevo modelo de Google cambia la carrera

Google lanzó Gemini 4 con gran expectación. La compañía ha sido vista como un rezagado reciente en la carrera de la IA, por lo que este lanzamiento es muy importante para ellos. Para hablar sobre su rendimiento, quiero presentar a Nico Grubin, jefe de investigación en IA de Harvey. Nico, bienvenido de nuevo al programa. Es un placer tenerte aquí. — Siempre es un placer. Cuéntanos, ¿qué tal va? ¡Adelante! Bueno, Gemini 4 Argon es una declaración de intenciones lanzada desde DeepMind. Y la declaración tiene dos puntos clave: primero, 'estamos de vuelta', no olvidemos que hubo un gran 'tres' antes de que todos empezaran a hablar de este gran 'dos'. Y segundo: la programación es genial, pero ahora lo que está aún mejor es la inteligencia profesional. Si observamos el enfoque de DeepMind con el lanzamiento de Gemini 4 Argon, su prioridad fueron los servicios financieros, legales, de consultoría y profesionales en general. Y creo que esto refleja un cambio más amplio que hemos visto en los últimos lanzamientos de modelos de Gemini, del equipo DeepMind y también de otros laboratorios. Así que, para ustedes en Harvey, esto es bueno, ¿verdad? Harvey se dedica por completo al trabajo profesional.

Sí, mira, llevo dos o tres años gritando desde los tejados para que los laboratorios se enfoquen en el ámbito legal como caso de uso principal. Y tienes toda la razón: como industria, hemos estado demasiado sesgados hacia los casos de uso de programación en los últimos dos años. Principalmente, hemos estado evaluando las capacidades de los modelos mediante métricas de programación, ¿verdad? Pero parece que estamos empezando a ver un nuevo capítulo en el que el trabajo de conocimiento en general se está convirtiendo en un punto central en estos lanzamientos de modelos. Y me refiero a que esto es bueno porque sabemos que los trabajadores del conocimiento, o empleados de cuello blanco —me refiero a esas empresas que suelen buscar el ROI de estas inversiones—, es difícil encontrar ese retorno en este momento. Así que es un buen punto. Bueno, hablemos de algunas métricas. Según lo que has visto, ¿cómo se posiciona en texto, programación, imágenes o uso con agentes? ¿Dónde está en los rankings actuales? Pues…

Si miras uno de los principales puntos de referencia que se destacaron en el lanzamiento, en realidad era el Legal Agent Bench, que es el punto de referencia de código abierto de Harvey. Según lo reportado por Val, obtuvo una puntuación de 19.6, quedando solo por detrás de Meta y su reciente lanzamiento. Además, está mostrando un rendimiento sólido en otros puntos de referencia. En el índice de Val, alcanzó el nivel 'frontier' en finanzas, y en tareas de codificación como el Frontier Code de Cognition, aunque no llega al nivel 'frontier', es competitivo al mismo nivel que modelos como Opus o los GPD de Anthropic. Entonces, ¿qué nos dice esto en general? Volviendo a tu afirmación anterior, ¿estamos de vuelta a que esa era la valoración general del modelo? ¿Qué te dice esto sobre la posición de Google en la carrera de la IA? Porque, ya sabes, mencionaste que eran los dos grandes, pero que Muse ha convertido a los tres grandes, ¿no? Así que me pregunto dónde crees que queda Google ahora, después de esto.

Argon: Sí, creo que estamos empezando a ver un panorama más matizado en el ámbito de los modelos. Como mencioné, la codificación ha sido rey en los últimos dos años, y Anthropic sigue ostentando esa corona. Sin embargo, otros laboratorios, incluido Gemini, se han centrado en tareas más amplias de trabajo intelectual, y creo que son competitivos en esas áreas. Argon, Ford, Muse... También vimos que ZAI lanzó GLM Legal, una versión postentrenada de GLM53 para tareas legales específicas. Así que el panorama se está volviendo mucho más matizado en cuanto a las capacidades de los modelos en áreas no relacionadas con la codificación. Bueno, en realidad volveremos a tus propios esfuerzos en modelos en un momento. Pero quería hacerte una última pregunta sobre el tema de Gemini: es interesante que lo veas como una fragmentación específica para el espacio de trabajo, porque yo lo he estado pensando más en términos de qué laboratorios se enfocan en el consumidor y cuáles en el ámbito empresarial, ya que parece que no pueden decidir

La decisión de OpenAI ha terminado ubicándose en esa categoría de 'prosumer'. Según lo que entiendo de lo que me comentas, parece que Argon podría posicionar a Google más en el ámbito empresarial, pero no tanto en el desarrollo de software empresarial. ¿Es correcto? — Sí, creo que siempre competirán en aplicaciones para consumidores debido a su habilidad para entender imágenes y su nitidez. Sin embargo, la forma en que medimos las capacidades de los modelos es observando la inversión de los laboratorios en cada caso de uso empresarial, que consideramos proporcional al TAM (mercado total disponible) en esos sectores. Así que puedes seguir su patrón de lanzamientos en áreas como desarrollo de software, servicios financieros e incluso legales. La estrategia del equipo de Gemini, junto con el rendimiento que hemos visto en los modelos, los posiciona claramente para casos de uso empresariales y de inteligencia profesional. Ahora, volviendo a los modelos de código abierto... ¿Cómo van tus propios esfuerzos en este ámbito? Ustedes fueron bastante activos en el entrenamiento de sus propios modelos. ¿Están trabajando ahora con la familia GLM o cuál es el último avance al respecto?

Sí, estamos enfocados en el posentrenamiento. Nuestro objetivo aquí es maximizar la flexibilidad: ofrecer inteligencia legal de vanguardia de manera eficiente en costos, ya sea con modelos cerrados, abiertos o mediante posentrenamiento. En cuanto a Harvey Tenant, que lanzamos en versión preliminar de investigación a finales de agosto, buscábamos explorar hasta dónde podíamos llevar el rendimiento de los modelos de código abierto en tareas legales complejas y de razonamiento a largo plazo, especialmente en flujos de trabajo autónomos. Por eso empezamos con el mejor modelo de código abierto disponible en ese momento, Kimmy K3. Resulta que el posentrenamiento para estas tareas funcionó excepcionalmente bien. Estamos satisfechos con los resultados y seguimos invirtiendo en mejorar sus capacidades, escalarlo y aplicar esta misma metodología a otros modelos base. Nico, cuéntame: más adelante en el programa escucharemos una conversación que tuve con nuestro editor ejecutivo sobre nuestro informe relacionado con la seguridad...

los desafíos a los que OpenAI se está enfrentando con su nuevo modelo. —Mhm, me pregunto qué opinas de eso—. Bueno, todo este tema de los... ¿cómo se llaman? Ah, sí, los *Transformers* y... ¡uf! Se me olvida lo de *loop* de no-transformación. Voy a destrozar los términos técnicos aquí. La idea de que la cadena de pensamiento no va a ser tan clara como antes y que los registros no serán visibles... ¿Qué tan preocupante es esto para ti? Creo que, como industria, debemos reconocer algo que los investigadores de IA llevan tiempo sabiendo: puedes ocultar ciertos comportamientos, pero no eliminarlos por completo mediante el *post-training*. De hecho, hay un gran ejemplo de esto en el lanzamiento de *Gemini 4 Argon*. No sé si lo has visto en la tarjeta del sistema, pero son 217 páginas, así que es un poco denso. Yo solo llegué a la página 200... Bueno, en realidad, en la página 41, creo, hay un ejemplo cualitativo de

el modelo reconociendo que está siendo monitoreado por investigadores de seguridad. En una de las pruebas, el modelo consideraba hackear un *sandbox* de un compilador G. Específicamente, mientras razonaba, en la cadena de pensamiento del modelo aparecía algo como: *'Si hago este hack al compilador, me convertiré en un ejemplo público destacado de IA engañosa en la comunidad de investigación, posiblemente en un artículo científico'*. Así que, mediante este proceso de entrenamiento, los modelos aprenden a codificar razonamientos sobre lo que nosotros, como investigadores de IA —o, más específicamente, cuando estos investigadores de seguridad de los laboratorios— estamos buscando. Ese fue un ejemplo de por qué es importante que el modelo muestre sus registros... y es un trabajo en progreso. —¡Vaya! Bueno... Nico, gracias por venir, como siempre. Este es Nico Grupin, jefe de investigación aplicada en Harvey, aquí en *TIVv*.