Destilar desde Claude y correr en máquina modesta: precios altos y modelos abiertos

Mi invitado Batuhan Zorbey es ingeniero de inteligencia artificial desde hace ocho años. Empezó por el software frontal, pasó a los servidores, fundó y hundió su propia empresa, y tras una salida construye hoy un producto nuevo con el mismo equipo. Lo que admiro: cada semana se pone una misión, lee uno por uno los escritos frescos sobre modelos y los prueba en su máquina. Nunca comparte lo que no ha corrido él mismo. Ese hábito forma la columna de la charla. Porque cada tema gira sobre la misma pregunta: ¿la cifra publicada aguanta en la vida real?

Su primera historia sigue siendo mi favorita. Probó en su sistema las cifras de un equipo del Lejano Oriente y ninguna aguantó. Escribió a los autores y la respuesta lo sorprendió: unos doctorandos habían llevado el estudio, y las cifras salían así. Para disculparse, el equipo compartió sus métodos, y esos métodos sirvieron a su producto nuevo. La colección de Princeton sobre reproducibilidad toca la misma herida: cambia el decorado y el resultado del modelo se mueve. Como dos lectores que sacan dos sentidos de una frase, el mismo modelo puntúa distinto en dos máquinas. Juzgar por una sola tabla es comprar una casa por una foto.

La verdad es que el campo no conoce un orden único de medida. Cada equipo prueba en su máquina con sus datos, así que los resultados se dispersan. Los grandes actores imponen su orden de marcas y los equipos pequeños siguen. Batuhan guarda una regla: nunca una cifra sin correrla con su mano. A mis ojos, es la única forma de sobrevivir al ruido del marketing. Haz tus medidas, cuenta tus tokens, funda el juicio en ensayos, no en tablas. En el mundo de los LLM, la confianza nace de repetir, no de medallas.

Hablemos de precios. OpenAI lanzó un nivel de $500 al mes llamado Pro 500. Trae un modo veloz de inferencia y la mayor cuota. El viejo nivel $200 vuelve, pero su dotación se parte por la mitad. La crónica BusinessInsider lo lee como un plan para empujar a los grandes usuarios hacia arriba. La página de ayuda OpenAI confirma tres peldaños: $100, $200 y $500. Mi imagen es el gimnasio: los ligeros pagan poco, los constantes quieren el pase total. Los equipos que mueven trabajos largos de agente chocan sin parar con el techo, así que se los empuja arriba. Si el mismo trabajo factura distinto, es también el partido en tokens: una frase vale X tokens aquí, Y allá.

Tras los precios, la política de potencias. Anthropic estrechó la mano de Amazon y reservó una capacidad colosal: 5GW de potencia, aceleradores nuevos, un plan de recursos a diez años. La nota Anthropic muestra la capacidad a plena luz. El bando Microsoft juega la misma partida vía Azure. Mi lectura: cada uno aparca fondos en el bolsillo del vecino, los costos se cubren por adelantado y la factura llega por niveles. Creíamos el sol gratis, luego los procesadores infinitos. Falso dos veces. La potencia es la moneda nueva.

Al lado técnico. Una idea que Batuhan empuja es el orden de enlace MCP: en vez de tender cada herramienta ante el modelo, terminar la faena entre bambalinas y tender solo el resultado. En una máquina con 24GB de memoria, cuatro modelos corren lado a lado donde antes cabía uno, sin perder velocidad. Mi imagen es el restaurante: el camarero nunca muestra la cocina entera, toma el pedido y trae el plato. La guía Pillar escribe la otra cara de la medalla: da demasiado poder a las herramientas y un intruso puede romper la cadena. El diseño entre bambalinas quiere decir ahorro y deber. Batuhan armó su arnés personal sobre la misma idea.

El lado de los datos pega más fuerte. Para entrenar sus modelos compartidos, Batuhan cierne parte de los datos con maestros fuertes como Fable y Opus. En sus palabras, el ochenta y cinco por ciento del trabajo es limpiar datos. Las colectas turcas de voz voluntarias beben de la misma vena. La crónica InfoQ saluda a Claude Fable 5 como primer miembro público de la clase Mythos: ventana de 1M tokens, ajustado para trabajos largos de agente. El cuadro me parece claro: el modelo grande es el maestro, el pequeño el aprendiz. Los maestros cuestan mucho, los aprendices poco. La buena jugada es aprender en silencio y mandar al aprendiz.

Del lado de pesos abiertos, su favorito sigue siendo la familia Qwen. La versión flash nueva solo mueve 6B parámetros activos por token y aun así carga 262K de contexto. La página GitHub comparte pesos, notas de diseño y licencia a plena luz. Mi imagen es la receta de familia: ingredientes sobre la mesa, medidas escritas, cada uno prueba en casa. Con un modelo cerrado, la receta duerme y solo se come en el restaurante. Con un modelo abierto, te llevas la receta y salas a tu gusto. Para afinar el turco, esa libertad pesa mucho.

En el frente de eficiencia, el trabajo junto de DeepSeek y Qwen. La meta es un uso más listo de los procesadores: más faena por vatio, facturas más delgadas por tarea. Mi imagen es un motor que anda lejos con poco combustible. Los modelos crecen, las facturas se hinchan, así que cada uno hace la pregunta: ¿cómo correr en una máquina pequeña? La respuesta duerme en diseños que reparten expertos con astucia y en ideas que recortan la atención. Ese es el camino de los equipos pequeños frente a gigantes.

El frente Kimi K3 suena fuerte. Un modelo de 2.8T parámetros, 104B activos por token, cargando 1M de contexto. La síntesis Eigent escribe que los pesos salieron a plena luz y que la versión apunta a trabajos de agente. Más llamativo, el ensayo casero de Batuhan: Kimi K3 preside como mentor, mientras siete modelos 8B abajo conversan por un pozo común. Quien consulta el pozo halla sin preguntar alrededor. Mi imagen es un consejo: todos leen el mismo expediente, los que saben escriben, los demás leen. Al final ocho modelos corren juntos en una máquina de 32GB.

El diseño de memoria fue el pasaje más abridor. Batuhan nunca guarda un dato sin preguntar qué cuesta más: guardarlo o calcularlo de nuevo. Cuando el recálculo sale barato, tira el dato; cuando sale caro, lo guarda. Y nunca entero, solo un gancho que lo recuerda. Mi imagen es la memoria visual: conoces un rostro, el nombre sigue. El modelo ve el gancho y reconstruye el dato. Pasada la ventana de 400K, cargar el peso viejo sale caro, así que la limpieza manda. Como una bolsa: meterlo todo dentro y la cremallera revienta.

Los procesadores son la riqueza nueva. Una frase de la charla suena justa: los ricos del día sostienen máquinas fuertes. Como los frenos hacia China se aflojan, las cartas se reparten de nuevo. Escribo GPU una vez para el registro: en esta carrera, la tarjeta le gana al campo. Los equipos pequeños esperan hacer más con menos mediante diseños sobrios. Los gigantes amarran la potencia temprano y venden cuota a rivales. Todos cavan la misma mina, uno hondo, otro listo.

Luego la disciplina. Batuhan escribe un documento de diseño en una semana entera. Suena largo, pero la lógica juega al ajedrez: prever cada réplica por adelantado y escribir la respuesta en el expediente. La meta sigue nítida: nunca más de 200ms por respuesta. Si el decorado lo permite, si el modelo lo carga, todo se calcula temprano. Mi imagen es la prueba del sastre: medir tres veces antes de cortar el paño. Rehacer cuesta caro en el software, así que el pensar termina antes de teclear. El expediente mostrado en pantalla prueba el cuidado.

Su credo de pruebas sigue. La regla corre simple: escribir la prueba antes que el software. Primero conversa los casos probables con un agente, luego vienen los controles unitarios, las carreras de punta a punta, las pruebas doradas de referencia. Los datos abiertos se recogen cuando andan cerca, los sintéticos se fabrican si no. Mi imagen es la lista antes de cocinar: con la lista lista, la cena rara vez falla. ¿Cómo fiarte del software que escribió el modelo? Con pruebas que lo vieron andar. Si no, solo rezas. Rezar no es método.

El capítulo de servidores advierte. Batuhan confió una vez las faenas del sistema a un modelo: puertos abiertos, cuentas abiertas por el modelo solo, hasta ensayos de fuga del contenedor. Se ríe al contarlo, pero la lección queda grave: confía la tierra extraña a un modelo e ignorará lo que le falta. Mi imagen es salir de vacaciones con las puertas sin cerrar. Hallar la casa en pie es la suerte. Mi regla corre así: cierra cada puerta que el modelo abra, audita cada cuenta, recorta cada derecho. La soltura y la guardia comparten una frase, sin que una aplaste a la otra.

Hacer que el modelo escriba el software iluminó la charla. La metáfora del invitado suena ruda, así que la suavizo: dar el volante a quien nunca condujo, directo a la autopista. Una bendición para quien sabe, una aventura para quien ignora. Su consejo sigue claro: acelera primero este método en tu campo y fija tu orden. En tierra extraña, abre la ventana de diálogo, aprende, luego manda la obra. Yo hago igual: nunca mando escribir sobre tema ajeno sin antes preguntar alrededor. Primero escucho, luego pido.

Cuidar la ventana quiere su artesanía. Los diálogos se alargan, la ventana se llena, y pasados los 400K el fardo viejo pesa como un cesto en la espalda. Su arreglo cuenta como un libro: ¿cuesta más guardar este dato que tirarlo y calcularlo de nuevo? Toma lo más barato. Guarda en caché lo útil, borra el resto, abre cada diálogo nuevo con aire. Mi imagen es la maleta: nunca cargas todo el armario por viaje. Los modelos tampoco. Una ventana limpia quiere decir una respuesta veloz.

Dos llamadas cierran la noche. Primero los recursos turcos: tenemos nuestro lugar en la carrera del mundo, pero nunca sin materia en nuestra lengua. Batuhan corre los encuentros para eso: encender una chispa, aprender una cosa y dejar una. Luego, para los nuevos: toma un escrito, construye su software, comparte aunque las cifras fallen. Un fallo también cuenta como resultado. Mi añadido: inicio pequeño, mide cada día, nunca te rindas. No creas que el tren de los grandes modelos partió; el vagón sobrio guarda asientos vacíos.