Cómo funcionan realmente los LLM: de los tokens a una máquina que adivina la siguiente palabra

¿Por qué el chat se siente humano?

El video de Techquickie “¿Cómo funcionan los LLM?” comienza con un simple enigma: ¿por qué una respuesta de ChatGPT a veces se siente como si hubiera una persona al otro lado? El presentador enmarca el modelo como una pila de números que adivina la siguiente palabra, sin embargo, puede escribir correos electrónicos, organizar vuelos e incluso detectar fallas en sitios web una vez que esa pila está ajustada. Para explicar lo que sucede cuando le preguntas algo a ChatGPT o Claude, el video recurre a Colin Kilty, ingeniero senior de aprendizaje automático en Red Hat, cuya primera línea es desarmadoramente sincera: los modelos de lenguaje son una caja negra —la información entra, la información sale, lo que sucede en el medio no se conoce completamente. Luego, el video pregunta “¿sabemos algo en absoluto?” y comienza a desglosar las partes que sí entendemos, como si aprendiéramos la leyenda de un mapa antes de leerlo.

Las matemáticas del lenguaje: tokens y un mapa conceptual

En el centro está el token, aproximadamente cuatro caracteres desglosados en números. Cada token se convierte en una lista de números y se coloca en un enorme mapa de conceptos; los tokens con significados relacionados se sitúan cerca. La ilustración clásica es mar y lago terminando juntos porque ambos son grandes cuerpos de agua. Aquí se explican dos términos técnicos de forma sencilla: incrustación vectorial (colocar cada token en una coordenada numérica) y espacio latente (el mapa abstracto donde viven todos los conceptos). Piénsalo como un diccionario para el modelo: el lenguaje se convierte primero en números, luego en razonamiento, y los conceptos cercanos permanecen cercanos porque la geometría captura la similitud. Una vez que esa imagen encaja, el resto de la maquinaria se vuelve más fácil de seguir.

Los números que hacen el trabajo pesado son los pesos. La analogía es con las neuronas humanas cuyas conexiones pueden ser más fuertes o más débiles; en las redes artificiales esa fuerza es un número, el peso, y toda la colección es la “pila miserable” a la que el presentador sigue volviendo. Kilty lo dice claramente: los pesos encarnan el conocimiento que el modelo posee, derivado de vastos textos humanos. Son la materia prima para cada cálculo que convierte tu prompt en una respuesta, y son lo principal que separa un modelo de otro. Crucialmente, nadie codificó a mano la gramática, el sarcasmo o cualquier peculiaridad de carácter; esos patrones surgieron a medida que los pesos se ajustaban para predecir mejor lo que vendría después.

Una fábrica de prueba y error: el entrenamiento

El entrenamiento se describe como prueba y error a gran velocidad y se divide en tres pasos: 1) tomar un corpus y ocultar la siguiente palabra, 2) dejar que el modelo adivine, 3) empujar los números un poco hacia la respuesta correcta cuando se equivoca. Haz eso billones de veces a través de gran parte de internet y terminarás con una máquina excelente para adivinar la siguiente palabra. El video suelta un seco “Vale la pena.” pero el punto es serio: el modelo no aprende la verdad absoluta, aprende lo que la encuesta de todo lo que ha leído dice que es más probable que siga. A medida que entran más datos y los pesos siguen ajustándose, las conjeturas mejoran, por lo que la misma arquitectura suena más inteligente a mayor escala.

El resumen lo relaciona con la inferencia, el acto de responder a tu prompt. El modelo convierte tu mensaje en números, los pasa a través de su pila de pesos ajustados y calcula la siguiente palabra más probable; si hiciste una pregunta, esa palabra es el comienzo de la respuesta. Luego se ejecuta de nuevo sobre el prompt más la palabra recién generada, y de nuevo, de forma autorregresiva, construyendo la respuesta un token a la vez hasta que se detiene. El resultado se siente menos como la salida garantizada de una calculadora y más como Family Feud — la encuesta dice. La gramática y el tono nunca fueron programados; se formaron porque estaban en los datos y una mejor adivinación los exigía.

Por qué se reafirma cuando se equivoca

Si adivinar es tan bueno, ¿por qué sigue confabulando? El video define la alucinación no como mentir a propósito, sino como un error involuntario al elegir el token siguiente incorrecto sin el contexto adecuado. Una vez que se emite ese token, se convierte en parte de la entrada, y el modelo queda bloqueado en ese camino. El presentador lo compara con una persona a la que le cuesta admitir un error y sigue reafirmándose; la máquina también lo hace, porque la palabra errónea es ahora un dato a partir del cual debe continuar. Ese mismo bloqueo explica por qué un desafío a menudo cambia la respuesta instantáneamente: tu corrección es una nueva entrada que ajusta las probabilidades de nuevo.

Ahí es donde ayudan los modelos de razonamiento. Estos son sistemas que muestran una pequeña fase de “pensamiento” antes de responder, lo que el video enmarca como el modelo hablándose a sí mismo un poco para generar contexto adicional. En problemas difíciles, el texto extra aumenta la probabilidad de acertar con las palabras correctas. Si eso cuenta como razonamiento genuino es, según el propio encogimiento de hombros del presentador, una incógnita. Los investigadores están tratando de observar esos pasos internos directamente, pero las herramientas aún son rudimentarias y no pueden capturar todo lo que sucede a través de billones de pesos a la vez.

Materia oscura: mapeando lo que construimos

El tramo más sobrio trata sobre la interpretabilidad. Kilty señala que sí conocemos los roles de algunas capas —la capa de atención que decide en qué tokens enfocarse, por ejemplo—, pero la caja general sigue siendo oscura. Los equipos están abriendo los modelos para rastrear cómo se mueven los cálculos, pero una idea no equivale a un solo lugar. El ejemplo clásico es un único punto en un modelo de visión que se activa por igual para caras de gatos, frentes de coches y patas de gatos, un fenómeno llamado polisemanticidad o superposición. Con billones de pesos, el investigador de Anthropic que lidera esta línea estima que solo se ha mapeado una pequeña fracción; el resto se denomina materia oscura. En otras palabras, los fabricantes todavía están cartografiando la máquina que construyeron, y el mapa tiene mucho más espacio en blanco que tinta.

El cierre eleva la visión de la ingeniería a la filosofía. Algunos investigadores argumentan que a medida que los modelos escalan, pueden estar convergiendo en algo parecido a la verdad universal de Platón — un espacio de pensamiento donde cada concepto que podría existir ya existe, abarcando cada descubrimiento, fórmula, prueba y ley de nuestro universo y de cualquier otro que podamos tocar. La visión contraria es contundente: tal vez sea solo un autocompletado glorificado. El video es explícito en que esto ha sido un barrido de muy alto nivel y dirige a los espectadores curiosos a escritos más profundos de su equipo de laboratorio y a un artículo complementario sobre cómo ejecutar un modelo en casa. La conclusión destilada es compacta: entendemos los bloques de construcción —tokens, pesos, entrenamiento, inferencia— pero su suma no produjo una máquina pensante, produjo una máquina de adivinación; la apariencia de pensamiento creció a medida que la alimentamos con internet.

En pocas palabras, el video te deja con una brújula útil: pregúntale a un modelo de lenguaje por la probabilidad, no por la certeza, tal como lo harías con una encuesta. El mapa conceptual, la pila de pesos y el bucle autorregresivo explican en un solo marco por qué el sistema es fluido, por qué puede equivocarse obstinadamente y por qué agregar contexto a menudo lo repara. Probar un modelo pequeño localmente hace que esas cuatro piezas sean tangibles, mientras que los rincones más oscuros siguen siendo un frente de investigación activo. Para el siguiente paso, el camino que sugiere el video es una curiosidad cuidadosa: leer más a fondo, probar localmente, mantenerse empírico en lugar de mítico.