El primer candidato serio post-Transformer: ¿qué promete la arquitectura BDH de Pathway?

Krish Naik regresa tras meses sin un análisis dedicado a un paper y pone la arquitectura Dragon Hatchling (BDH) de Pathway en agenda. La pregunta de la miniatura es directa: ¿reemplazará BDH a los Transformers? Su resumen rápido: BDH se presenta como el eslabón perdido entre los Transformers y los modelos del cerebro, introducido con el paper del 30 de septiembre de 2025 en Hugging Face. El pequeño modelo de razonamiento construido encima, BDH-CQ, alcanza un nuevo punto de costo-eficiencia en ARC-AGI-1 con solo 115 a 150 millones de parámetros.

Por qué los Transformers piensan caro

Déjame desglosar paso a paso por qué se necesita una nueva arquitectura. Cuando le pides a ChatGPT, Claude o Gemini resolver un sencillo puzzle de 20 chocolates — dar 7 a un hermano, 6 a una hermana, ¿cuántos quedan? — el modelo deletrea cada paso intermedio en palabras: 20 menos 7 son 13, 13 menos 6 son 7. Eso es Chain-of-Thought, que obliga a la computación interna a pasar por el lenguaje. Como un alumno que debe decir cada resultado en voz alta, el modelo gasta tokens para pensar. Tokens significan latencia y coste. Pathway lo llama el cuello de botella del token: puedes ejecutar miles de millones de operaciones por dentro, pero solo puedes llevar un estrecho canal de tokens al siguiente paso.

El segundo cuello de botella es la memoria. Un Transformer tiene dos memorias distintas: el conocimiento a largo plazo horneado en pesos congelados durante el entrenamiento, y una caché KV indexada por tokens que crece con el contexto y se reinicia cada sesión. Los contextos largos hinchan la caché y empujan hacia soluciones como resumir o bases vectoriales externas. Construir un agente en la vida diaria se siente como reescribir el cuaderno desde cero cada vez. La tesis de BDH es que la memoria debe vivir en las propias sinapsis, no fuera; la experiencia debe acumularse y cambiar cómo se aborda el siguiente problema. Los ejemplos nuevos en inferencia deberían actualizar directamente la memoria interna — la diferencia entre un empleado en su primer día y la misma persona un año después.

Cómo funciona Dragon Hatchling

BDH toma su pista de la red libre de escala del cerebro. En un cerebro no cada neurona se conecta con todas las demás; unos pocos hubs muy conectados coexisten con muchos nodos escasamente conectados en un grafo disperso pero eficiente. BDH modela el lenguaje como dinámica de grafo distribuido local en lugar de multiplicaciones densas de matrices. Cada nodo habla solo con vecinos, la memoria la llevan los pesos de las aristas (sinapsis) más que los estados de nodos solos, y el kernel de interacción se restringe a señales dispersas tipo spike. El razonamiento se formaliza como un proceso de reponderación de aristas. Como modelo de juguete, imagina una red de osciladores: los nodos tiran de sus fases mutuamente y se bloquean en un ritmo compartido.

La variante amigable para GPU es BDH-GPU. Aquí el grafo se convierte en un sistema de espacio de estados compatible con tensores. La atención lineal se alinea con la dimensión de neuronas, las activaciones se mantienen dispersas y positivas, y un bloque ReLU-lowrank reemplaza al MLP del Transformer. ReLU ayuda a propagar señales tipo cadena de Markov preservando la modularidad. El objetivo de ingeniería es práctico: usar LSH para mover vectores clave al ortante positivo, aumentar capacidad para contexto largo y obtener naturalmente sinapsis monosemánticas — cada sinapsis sintonizada a un concepto — junto con activaciones dispersas. Pathway reporta que ambas emergen naturalmente en las mediciones.

BDH-CQ: aprender en contexto, razonar en espacio latente

BDH-CQ es la especialización de razonamiento de la arquitectura — el nombre se expande a In-Context Learning with Recurrent Latent Reasoning. La lógica es simple: muestras unos pocos ejemplos, el modelo resuelve la nueva tarea solo a partir de esas demostraciones. Funciona en dos fases. 1) Aprendizaje en contexto: a medida que los ejemplos fluyen, se actualiza una memoria recurrente, como acumular notas a corto plazo dentro. 2) Razonamiento latente recurrente: cuando llega la consulta, el modelo no decodifica su pensamiento palabra por palabra; refina iterativamente la solución en un estado latente de alta dimensión y solo decodifica respuestas candidatas. Ningún paso intermedio se verbaliza, ningún parámetro se actualiza, ningún reentrenamiento para la tarea.

El campo de pruebas elegido es ARC-AGI-1. El benchmark entrega al sistema un puñado de pares entrada-salida de rejillas de colores, cada tarea con una regla oculta diferente, y le pide aplicarla a una nueva rejilla. Un puzzle puede desplazar un patrón de color a la derecha; el siguiente necesita una transformación completamente distinta. El conjunto de evaluación público es donde BDH-CQ alcanza el 29,5% pass@2 con un coste de inferencia calculado de 0,0007 $ por tarea — menos de una décima de centavo. En el mismo leaderboard GPT 5.6 Luna (Low) alcanza el 34,2% pero cuesta unas 11 veces más, incluso tras el recorte de precio de OpenAI del 30 de julio. El resultado se reprodujo en una evaluación independiente de caja negra y en una replicación por Lukasz Kaiser, coautor del paper Transformer de 2017.

La escalabilidad es la parte que el vídeo enfatiza. Pathway muestra resultados tempranos de entrenamiento hasta 600 mil millones de parámetros y apunta a una ley de escalado similar a la de los Transformers. La fuerza histórica de los Transformers fue la predictibilidad: dale más datos y parámetros y sigue mejorando. Si BDH sigue la misma curva, el cambio arquitectónico ofrece no solo eficiencia sino un camino de crecimiento. Naik señala que el paper lo enmarca como evidencia temprana, prometedora pero aún al inicio.

¿Qué significa esto más allá de las rejillas de colores? Tomando prestada la propia analogía de Pathway, piensa en planificar un viaje complejo multi-país: vuelos, visados, presupuestos, clima, horarios de apertura y preferencias se constriñen entre sí. Cuando se cancela un vuelo, un sistema capaz debe saber qué sigue válido y qué debe reconstruirse coherentemente. No es solo recuperación; necesita razonar a través de restricciones que interactúan. BDH apunta a manejar tales situaciones con un estado interno continuamente actualizado en lugar de un parche de memoria externa.

En resumen, el vídeo converge en un mensaje: el impuesto en tokens que pagamos por razonar no es una ley de la inteligencia sino una elección de arquitectura. BDH intenta convertir la atención en memoria sináptica y tejer juntos el aprendizaje en contexto con el razonamiento latente en un solo tejido. Lo hemos visto hasta ahora en un benchmark limitado con un modelo de 150 millones de parámetros; el cuadro no estará completo hasta que se pruebe a mayor escala, en integración de producción y en suites de razonamiento más difíciles.