Por qué la IA inventa hechos: cómo piezas verdaderas forman un enlace falso

El video abre con una trampa sencilla. Investigadores pidieron a un sistema un artículo de Andrej Karpathy y recibieron un famoso artículo de visión con casi todos los detalles correctos excepto el enlace en sí. El trabajo sugerido es el artículo de AlexNet sobre reconocimiento de imágenes, en realidad escrito por Krizhevsky, Sutskever y Hinton, no por Karpathy. Detectar el error no requiere conocimiento especializado, solo revisar la lista de autores, lo que muestra cómo un emparejamiento pulido pero falso puede colarse en la investigación rutinaria.

Las raíces están en cómo se entrenan muchos sistemas. Aprenden adivinando el siguiente fragmento de texto y absorben hechos y coocurrencias a partir de la frecuencia, no de un almacén verificado. La fluidez crece, por tanto, sin una comprobación automática de verdad. Una frase fluida parece verificada, incluso cuando el modelo solo extiende una continuación probable.

Una analogía con un editor de biblioteca lo deja claro. Un editor que ha leído mucho sabe qué ideas tienden a aparecer juntas y puede escribir un párrafo convincente incluso cuando falta un dato concreto. El modelo no recorre estanterías; su conocimiento vive como pesos numéricos. Ese encuadre no implica un autocompletado puramente superficial. En el caso de Dallas, investigadores rastrearon una ruta interna que iba de la ciudad al estado y de ahí a la capital: cambiar la señal interna de Texas a California desplazó la respuesta de Austin a Sacramento, lo que indica que la ruta importaba para el resultado.

Una segunda debilidad concierne a cuándo responder. Los sistemas llevan señales internas que distinguen los nombres familiares de los desconocidos, y ajustar esas señales desplaza el umbral entre abstenerse y responder. En el caso Karpathy, el reconocimiento de un nombre célebre inclinó al sistema a entregar un artículo familiar pese a carecer del mapeo exacto. Este relato aclara la diferencia entre familiaridad y conocimiento específico y no pretende cubrir todos los modos de fallo.

Cómo llevamos la cuenta moldea el comportamiento que seleccionamos. El video esboza una prueba de juguete de 100 preguntas donde un sistema sabe 80 respuestas y desconoce 20. Un respondedor prudente se queda en 80 al rechazar las desconocidas, mientras que un adivinador suma cinco aciertos de suerte y quince fallos para llegar a 85 bajo una regla de un punto por acierto, así que el silencio no rinde nada. Un análisis de 2025 sostiene que los benchmarks ordinarios pueden favorecer así la adivinanza. Con una penalización de menos dos por fallo, sin cambiar ninguna respuesta ni añadir conocimiento, las mismas respuestas invierten el ranking: el modelo prudente se queda en 80 mientras el adivinador cae a 55. El coste adecuado depende del caso de uso.

Extender la respuesta no repara por sí solo la brecha. Trabajos independientes muestran que un modelo que se aferra a un desliz temprano puede generar más afirmaciones que sostienen el primer error. Aceptar una pregunta cargada, como pedir qué aportó Karpathy a ese artículo, incorpora una premisa falsa e invita a un relato inventado pero coherente. La recuperación sobre documentos externos ayuda en los experimentos, y sin embargo un enlace correcto no prueba una atribución correcta; confirmar si el nombre aparece realmente en la lista de autores sigue siendo el paso decisivo.

La lección práctica se esconde en tres nombres. Incluso una síntesis por lo demás exacta puede fallar en el enlace entre fragmentos verdaderos, así que la comprobación pertenece justo ahí. Comparar una afirmación generada con su fuente citada, sobre todo con nombres, cifras y atribuciones, detecta a bajo coste errores caros. Si el enlace es falso, la verdad de los fragmentos no rescata el conjunto.