¿Pueden los modelos abiertos mantener el ritmo de OpenAI y Anthropic?

Cuando pienso en el progreso de los modelos, todo se reduce a diferentes formas de capital: cómputo, datos y talento. Y eso se refleja en quién podría ganar en los próximos años. Los chinos son tan buenos construyendo modelos que decir que China no está a la par en talento sería difícil de sostener. Lo que les falta es cómputo. La mayoría considera que la destilación es su principal palanca para avanzar. La gente destila mis productos todos los días: toman lo que hago, lo descomponen en sus partes más básicas —como la música— y eso es lo que llaman competencia. Antes, el entrenamiento posterior dependía mucho más del ajuste supervisado. Ahora, esto ha evolucionado hacia entornos donde el aprendizaje por refuerzo (RL) es predominante. Pero es difícil equiparar este tipo de entrenamiento posterior —donde se obtienen respuestas y la puntuación mejora— con lo que ocurre hoy en el razonamiento. El debate actual gira en torno al miedo de que el 'frente de avance' (frontier) esté ocultando algo y, además, se esté separando. Sin embargo, el gráfico de capacidades de IA no me preocupa especialmente.

Pero el gráfico de capacidades de IA contrasta con la casi inexistente preparación en ciberseguridad pública y otros aspectos similares. Nathan, ¡qué alegría tenerte aquí! Gracias por unirte en persona. Es un momento perfecto, sobre todo porque estás lanzando Trillium, algo que me encantaría discutir. Pero, a nivel más macro, creo que hemos hablado mucho sobre el código abierto, que es, ya sabes, gran parte de lo que te importa. Lo que hemos escuchado mucho en el discurso público es: 'Tenemos que mantener el ritmo del frente de avance (frontier), el frontier, el frontier'. Y yo intento preguntar a los expertos sobre una serie de temas: ¿qué hay exactamente en ese 'frente de avance'? ¿Cómo es? ¿Qué estamos intentando igualar? Y, lo que es más importante, ¿cómo se relaciona esto con el código abierto y los modelos de pesos abiertos? ¿Pueden mantener el ritmo del 'frente de avance'? Creo que esto es crucial, y es algo en lo que eres experto. Quizá podríamos empezar...

En ese arco, ¿qué se ha logrado hasta ahora o cómo desglosarías lo que nos ha llevado al límite tanto en laboratorios cerrados como en modelos de código abierto? ¿Sabes? ¿Cómo lo ves tú en tu mente? Quizá primero a alto nivel: preentrenamiento, entrenamiento intermedio, postentrenamiento… cómo ha evolucionado el postentrenamiento, algo en lo que has educado mucho al público. Cuando pienso en el progreso de los modelos, se reduce a distintos tipos de capital que inviertes en ellos: cómputo, datos y talento. Todos los laboratorios tienen cantidades variables de estos recursos, pero los laboratorios de frontera cerrada —OpenAI, Anthropic, Google— claramente han acumulado más. Y lo que observamos es la capacidad diferenciada de estos laboratorios para organizar esos recursos. Hacer que el organigrama funcione para construir modelos es realmente complicado, por eso las empresas deben reiniciarse por completo desde cero… y a veces, funciona. Empresas como Meta, por ejemplo, se reinventaron por completo y ahora están en una trayectoria positiva de nuevo. Sí, así es.

Son como… en serio, sí. Me interesa mucho estos aspectos humanos: por qué la competencia impulsa la frontera y por qué el organigrama es tan importante. Lo vemos en la dinámica abierto/cerrado: las empresas cerradas, los verdaderos laboratorios de frontera —si alguien quiere trabajar en la vanguardia de la IA, le diría que vaya a Anthropic o OpenAI, es la apuesta más segura—, aunque Meta, Google o SpaceX aún podrían estar ahí, pero es más difícil de ver desde fuera. Creo que estas empresas han tomado las apuestas más ambiciosas desde el principio, y por eso OpenAI, por ejemplo, impulsó la revolución de los modelos de razonamiento. Ese tipo de avances y esa gráfica tan reveladora sobre las leyes de escalado en inferencia… es como el punto más alto de OpenAI. Son realmente buenos para presentar gráficas que cambian la forma en que todos piensan sobre todo.

Y, por otro lado, está el caso de Anthropic, que se ha centrado mucho en los tipos de capacidades que sus modelos podrán ofrecer. Su recompensa ha sido esta explosión de Claude Code, fruto de su enfoque prolongado en la programación. Hay culturas sutilmente distintas, y creo que estas dos empresas, en particular, han sido las más visionarias y las más dispuestas a invertir cantidades exorbitantes para dar un paso en una dirección que muchos consideran imposible. Las empresas chinas entraron en esto porque quieren tener un peso específico en el sector. Si hubieran intentado construir sus modelos y vender una API desde China, nadie las conocería. Nadie sabría de Moonshot AI, muy poca gente conocería Jipu, y la lista sigue. Es una decisión muy práctica: siguen el discurso del mercado, saben que habrá un enorme mercado y una gran demanda en EE.UU. por pagar por estos servicios. Por eso, lanzar modelos abiertos es una forma de entrar rápidamente en la conversación.

Y creo que hay mucha complejidad en el porqué lo hacen. ¿Está el gobierno involucrado? No, no es el caso. Simplemente están intentando construir una startup. No quiere decir que no lo logren: el gobierno chino hace cosas que dejarían a cualquiera en EE.UU. con la boca abierta. Eso me hace pensar que los laboratorios chinos tienen un enfoque mucho más serio en seguridad, porque allí las respuestas a ciertos comportamientos empresariales son mucho más drásticas que en EE.UU. No necesito profundizar en esto, pero entre el equilibrio entre lo abierto y lo cerrado, estas empresas en China están intentando ponerse al día. Es una dinámica muy distinta a la que mencioné sobre OpenAI y Anthropic: ellas buscan crear nuevos paradigmas, intentar hacer realidad la RSI para que su empresa gane con los mejores modelos para siempre si llegan primero.

Las ideas están en auge y solo hay que cubrir los huecos del mercado. Los modelos de código abierto intentan hacer esto, y creo que con el tiempo surgirán estas categorías de modelos abiertos: los mejores modelos cerrados, por los que se puede exigir los márgenes más altos, y luego los modelos de vanguardia cercana, que quedan un paso por detrás. Estos últimos serán abiertos, ya que se trata de una cuestión de oferta y demanda. Al acceder a un mercado diferente, quizá menos rentable, como el de datos empresariales privados, estas categorías son evoluciones naturales de las empresas que buscan oportunidades. Hablamos del sector más puntero, y es similar a lo que ocurre en el mundo del capital: quienes tienen menos recursos obtendrán menos beneficios, y está bien, pero esa ambición por alcanzarles es muy fuerte. Una vez que empresas como Anthropic y OpenAI muestran el tipo de modelo que hay que construir, es mucho más fácil saber qué hacer a continuación

Es como decir: 'Ah, solo tenemos que hacer esto'. Sí, compran conjuntos de datos similares, y esto se filtra en la economía de datos, donde OpenAI y Anthropic invierten mucho más en construir esta industria de datos, y al año siguiente esas empresas de datos pueden venderlos a todo el mundo. Necesitan maximizar el retorno de su inversión y tienen un plazo contractual. Hay muchas dinámicas en las que el seguimiento rápido será muy viable. Hemos visto este ciclo repetirse durante un tiempo, más de lo que muchos esperarían. Cuando se lanzó ChatGPT, hablamos de la consolidación del sector y lo pronosticamos. Ahora estamos empezando a ver un mercado de fusiones y adquisiciones mucho más activo, aunque creía que esto ocurriría hace dos años. Las empresas de modelos abiertos han aguantado mucho más de lo que pensaba. Hay tantos hilos interesantes que analizar aquí...

Sabes que quizá podríamos posponer eso o seguir con ese hilo. Pero claro, también habría que explicar —o que tú expliques— cómo los modelos abiertos chinos o los laboratorios abiertos en China han optado más bien por una estrategia de distribución y comercialización práctica, en lugar de, ya sabes, por altruismo. Aunque es genial que los investigadores, por mejor o peor, estuvieran motivados por compartir desde el principio, al final lo que perpetuó fue una excelente estrategia comercial. Así que otra amenaza que podría surgir es que, bueno, creo que mucha gente ve la destilación como el principal mecanismo que les permite hacerlo tan bien y cada vez mejor, ya que la brecha entre los modelos de código abierto y los modelos de vanguardia se ha acortado con los años. En los últimos años, ahora solo son dos o tres meses. Esto también ha llevado a los laboratorios de vanguardia a querer cerrar sus APIs, a restringir el acceso a sus mejores modelos para ofrecer servicios de primera parte. Probablemente, en parte para capturar más valor —siempre es posible de esa manera—, pero también porque es más difícil destilar, aunque no imposible, pero mucho más complicado.

Quizá en estos dos frentes, que son muy interesantes, intentaremos profundizar. Empecemos: ¿la historia de la destilación es realmente una caricatura? Y, ya que has tenido la oportunidad de reunirte con ellos y has estudiado mucho este tema, ¿los laboratorios chinos son como esos 'todo terreno'? No solo son buenos en el preentrenamiento, sino que también tienen sus propias —y buenas— recetas de postentrenamiento, que pueden o no haber revelado. ¿Y dónde ves los factores que aceleran este proceso? Los laboratorios chinos son técnicamente excelentes. Eso sí, sufren una gran escasez de recursos computacionales. Sin duda, tienen un grupo de talento comparable al de cualquier otro lugar. Puede que haya una ligera ventaja basada en quién estaba dónde cuando la IA despegó, pero...