El juego de la siguiente palabra: cómo funcionan los grandes modelos de lenguaje

Grant Sanderson abre con un experimento mental: un guion de cine al que le faltan las líneas del asistente, más un motor hipotético que adivina continuaciones plausibles. Se introduce el fragmento, se toma la conjetura del motor, se añade, se repite, y se tiene, en miniatura, el bucle detrás de cada intercambio con un chatbot.

Un LLM nunca se compromete con una única continuación; reparte su creencia por todo el vocabulario en forma de probabilidades. Los creadores envuelven ese núcleo en una plantilla de diálogo y luego muestrean de la distribución en lugar de tomar siempre el candidato principal, por eso un modelo fijo todavía te sorprende en cada repetición.

Esos juicios probabilísticos se ganan leyendo texto a escala de internet. Leer el corpus de GPT-3 sin descanso ocuparía a un humano más de dos milenios y medio, y los entrenamientos de frontera posteriores han crecido mucho más allá de eso.

El entrenamiento se plantea como un ajuste: cientos de miles de millones de perillas continuas deciden cada probabilidad que el modelo emite. Nadie las fija a mano; empiezan al azar, produciendo galimatías, y cada ejemplo de texto las empuja una fracción hacia mejores conjeturas.

El empujón tiene nombre, retropropagación: ocultar el último token de un pasaje, comparar la conjetura del modelo con la verdad, desplazar los pesos hacia el final real. Repetido a lo largo de billones de pasajes, el sistema empieza a manejar pasajes que nunca ha visto.

La factura aritmética es difícil de imaginar: mil millones de operaciones por segundo seguirían necesitando del orden de cien millones de años. Eso cubre solo el preentrenamiento, porque completar texto aleatorio de internet es un objetivo distinto de asistir a un usuario; una segunda etapa, el aprendizaje por refuerzo a partir de retroalimentación humana, transforma el completador crudo en algo que se comporta como un asistente.

Nada de esto funciona sin procesadores gráficos, y no todo diseño los aprovecha: los modelos anteriores a 2017 masticaban las palabras en orden hasta que el transformer, introducido por un equipo de Google, absorbió pasajes enteros en paralelo. Las palabras se convierten en listas de números, la atención permite a esas listas negociar el significado a partir del contexto circundante —el sentido de orilla de un río y no el bancario—, las capas feed-forward añaden memoria, y el vector final enriquecido vota sobre lo que viene después. El marco está diseñado, pero la fluidez que de él emerge no lo está, y por eso rastrear cualquier respuesta hasta sus causas sigue siendo tan difícil.