Tester les systèmes de recommandation avec mille utilisateurs artificiels : une revue d'Agent4Rec

Les métriques hors ligne et les performances en ligne des systèmes de recommandation communiquent à peine entre elles, et le seul verdict auquel on se fie provient des tests A/B en production. C'est le nœud du problème que l'article étudié attaque : tester en production est coûteux, lent et risqué, alors que rien d'autre ne mesure ce que les utilisateurs vivent réellement. La vidéo présente cet écart comme la raison pour laquelle l'article compte.

La réponse proposée est Agent4Rec, un simulateur de mille agents génératifs dont les profils sont issus de véritables historiques de visionnage MovieLens. Chaque agent reçoit des recommandations de films personnalisées page par page et peut regarder, noter, évaluer, partir ou se prêter à un entretien de sortie. L'ambition : une véritable étude comportementale d'utilisateurs confrontés à un système de recommandation, menée entièrement en silicium.

La personnalité découle de trois axes sociaux extraits des données. L'activité distingue les spectateurs exigeants des gros consommateurs, la conformité mesure à quel point le goût d'un utilisateur s'écarte du courant dominant, et la diversité suit l'étendue de ses genres. Ces traits sont inscrits dans le prompt du modèle de langage, si bien que la même recommandation rencontre un tempérament différent chez chaque agent.

Ce qui se passe tôt modifie ce qui se passe tard, et c'est pourquoi l'architecture a besoin de mémoire. Les agents conservent des enregistrements factuels de ce qu'ils ont vu ainsi que des traces émotionnelles de ce qu'ils ont ressenti, stockées à la fois en langage naturel et sous forme de vecteurs, avec une étape de réflexion pilotée par les émotions. Voir d'abord trois films quasi identiques peut donc aigrier le quatrième : exactement le type de dépendance au chemin que montre la vraie navigation.

Les actions se divisent en actions guidées par le goût et guidées par l'émotion, modulées par la personnalité et un niveau de fatigue qui décide du moment où un agent quitte la plateforme. Les profils sélectifs abandonnent plus tôt, les tolérants persistent malgré les mauvaises séries. À la sortie, chaque agent est interrogé sur ses notes et ses impressions générales, et ces explications constituent le produit le plus singulier du simulateur : les métriques traditionnelles ne disent jamais pourquoi.

Le banc d'essai couvre le classement aléatoire, la factorisation matricielle, LightGCN et MultVAE, évalués sur les articles regardés, les notes moyennes, le temps d'engagement et la satisfaction globale. Les retours des agents servent aussi de données d'entraînement augmentées, si bien que la boucle peut être refermée en réentraînant les systèmes de recommandation sur ce que les utilisateurs simulés ont aimé. Le réviseur esquisse même un avenir en apprentissage par renforcement, avec le simulateur comme modèle de récompense.

La validation commence par un contrôle d'alignement des profils : chaque agent reçoit vingt articles, dont certains déjà consultés et d'autres non, et doit choisir. Les agents issus des profils retrouvent systématiquement les favoris de l'utilisateur, ce qui suggère que les préférences sont réellement comprimées dans le persona. En faisant varier la proportion d'articles inconnus, on découvre ensuite quelque chose d'étrange : le nombre d'articles préférés bouge à peine.

Les distributions de notes et les traits d'activité se reproduisent comme prévu ; dire au modèle qu'un utilisateur regarde rarement des films conduit la simulation à en regarder rarement. L'évaluation des stratégies se comporte aussi : les meilleurs systèmes de recommandation obtiennent une satisfaction simulée plus élevée et une probabilité de visionnage supérieure. Cette réponse monotone est le minimum que tout instrument d'évaluation doit montrer, et il la passe.

La revendication la plus audacieuse est l'augmentation pilotée par les retours : réentraîner sur les films que les agents ont regardés améliore chaque algorithme, tant sur les métriques hors ligne que sur la satisfaction simulée, tandis que s'entraîner sur les films qu'ils ont ignorés dégrade l'expérience. Si les choix simulés sont des marqueurs cohérents du goût, le simulateur devient une source de données, et pas seulement un miroir.

L'article explore aussi un effet de bulle de filtre et se conclut par une étude de cas que le réviseur critique sur la méthode : demander aux agents une note de satisfaction avant le raisonnement inverse l'ordre de prompting qui produit habituellement un meilleur jugement. Il interroge en outre le choix du moteur GPT-3.5 et note que des modèles ouverts moins coûteux pourraient halluciner moins, tout en renvoyant les spectateurs vers la base de code open source LangChain.

Le message final est que l'évaluation au moyen de modèles de langage devient un programme de recherche à part entière. Agent4Rec en est un instrument précoce : imparfait, à visage découvert, mais visant la bonne cible. La vidéo le traite comme un article avec lequel il vaut la peine de débattre plutôt que comme un résultat à mémoriser, ce qui est la posture la plus saine envers la science des simulateurs.