Pourquoi l'IA invente des faits : comment des éléments vrais forment un lien faux

La vidéo s'ouvre sur un piège simple. Des chercheurs ont demandé à un système un article d'Andrej Karpathy et ont reçu un célèbre article sur la vision, avec presque tous les détails corrects sauf le lien lui-même. Le travail suggéré est l'article d'AlexNet sur la reconnaissance d'images, en réalité signé par Krizhevsky, Sutskever et Hinton, et non par Karpathy. Repérer l'erreur ne demande aucune connaissance spécialisée, juste vérifier la liste des auteurs, ce qui montre comment un appariement soigné mais faux peut se glisser dans la recherche de routine.

Les racines du problème résident dans la manière dont de nombreux systèmes sont entraînés. Ils apprennent en devinant le fragment de texte suivant et absorbent les faits et co-occurrences à partir de la fréquence, non d'un stock vérifié. La fluidité croît donc sans contrôle automatique de véracité. Une phrase fluide semble vérifiée, même quand le modèle ne fait qu'étendre une continuation probable.

Une analogie avec un éditeur de bibliothèque rend le propos clair. Un éditeur qui a beaucoup lu sait quelles idées tendent à apparaître ensemble et peut rédiger un paragraphe convaincant même quand un fait précis manque. Le modèle ne parcourt pas des rayonnages ; son savoir existe sous forme de poids numériques. Ce cadrage n'implique pas un simple autocomplètement superficiel. Dans le cas de Dallas, des chercheurs ont tracé une route interne allant de la ville à l'État puis à la capitale : remplacer l'indice interne du Texas par la Californie a fait passer la réponse d'Austin à Sacramento, ce qui indique que la route comptait pour le résultat.

Une seconde faiblesse concerne le moment de répondre. Les systèmes portent des indices internes qui distinguent les noms familiers des noms inconnus, et le fait de modifier ces indices déplace le seuil entre abstention et réponse. Dans le cas Karpathy, la reconnaissance d'un nom célèbre a poussé le système à livrer un article familier malgré l'absence de la correspondance exacte. Cette explication clarifie la distinction entre familiarité et connaissance spécifique et ne prétend pas couvrir tous les modes de défaillance.

La façon de noter façonne le comportement que l'on sélectionne. La vidéo esquisse un test jouet de 100 questions où un système connaît 80 réponses et en ignore 20. Un répondant prudent reste à 80 en refusant les inconnues, tandis qu'un devineur ajoute cinq coups de chance et quinze erreurs pour atteindre 85 sous une règle d'un point par bonne réponse ; le silence ne rapporte donc rien. Une analyse de 2025 soutient que les benchmarks ordinaires peuvent ainsi favoriser la devinette. Sous une pénalité de moins deux par erreur, sans changer une seule réponse ni ajouter de connaissances, les mêmes réponses inversent le classement : le modèle prudent reste à 80 tandis que le devineur tombe à 55. Le bon coût dépend du cas d'usage.

Prolonger la réponse ne répare pas en soi le déficit. Des travaux distincts montrent qu'un modèle accroché à une première erreur peut générer d'autres affirmations qui étayent la faute initiale. Accepter une question piégée, comme demander ce que Karpathy a contribué à cet article, inscrit une prémisse fausse et invite à un récit inventé mais cohérent. La récupération dans des documents externes aide dans les expériences, pourtant un lien correct ne prouve pas une attribution correcte ; confirmer si le nom figure réellement dans la liste des auteurs reste l'étape décisive.

L'enseignement pratique se cache dans trois noms. Même une synthèse par ailleurs exacte peut échouer sur le lien entre des fragments vrais, c'est donc précisément là que la vérification doit se porter. Comparer une affirmation générée à sa source citée, surtout pour les noms, les chiffres et les attributions, détecte à moindre coût des erreurs coûteuses. Si le lien est faux, la véracité des fragments ne sauve pas l'ensemble.