Öneri Sistemlerini Bin Yapay Kullanıcıyla Sınamak: Agent4Rec İncelemesi

Öneri sistemlerinde çevrimdışı metriklerle çevrimiçi performans neredeyse birbirini tanımıyor ve herkesin güvendiği tek hüküm, yayındaki canlı A/B testlerinden geliyor. İncelenen makale tam bu düğüme saldırıyor: yayında test etmek pahalı, yavaş ve riskli; ama kullanıcının gerçekte ne yaşadığını başka hiçbir şey ölçmüyor. Video, makalenin neden önemli olduğunu bu boşluk üzerinden kuruyor.

Önerilen cevap Agent4Rec: profilleri gerçek MovieLens izleme geçmişlerinden beslenen bin üretken ajandan oluşan bir simülatör. Her ajan, kişiselleştirilmiş film önerileriyle sayfa sayfa karşılaşıyor; izleyebiliyor, puanlayabiliyor, değerlendirebiliyor, çıkabiliyor ya da çıkışta mülakata katılıyor. Hedef, bir öneri sistemiyle tanışan insanın davranış çalışmasını tamamen silikon içinde koşmak.

Kişilik, veriden damıtılan üç sosyal eksenden geliyor. Activity seçici izleyiciyle yoğun izleyiciyi ayırıyor, conformity kullanıcının beğenisinin ana akımdan ne kadar saptığını yakalıyor, diversity tür yelpazesinin genişliğini ölçüyor. Bu özellikler dil modelinin promptuna yazılıyor; böylece aynı öneri her ajanda farklı bir mizaçla karşılaşıyor.

Erken olan geç olanı değiştirdiği için mimarinin belleğe ihtiyacı var. Ajanlar ne gördüklerinin olgusal kaydıyla nasıl hissettiklerinin duygusal izini birlikte tutuyor; hem doğal dil hem vektör olarak, üstüne duygu-güdümlü bir yansıtma adımı ekleniyor. Baştaki üç neredeyse aynı film bu yüzden dördüncüyü ekşitebiliyor; gerçek gezinmedeki yol-bağımlılığının ta kendisi.

Aksiyonlar beğeni-güdümlü ve duygu-güdümlü diye ikiye ayrılıyor; kişilik ve ajanın ne zaman çıkacağına karar veren bir yorgunluk seviyesiyle ayarlanıyor. Seçici profiller erken çıkıyor, toleranslı olanlar kötü sıralarda bile kalıyor. Çıkışta her ajan puanları ve genel izlenimi hakkında mülakata alınıyor ve bu açıklamalar simülatörün en ayırt edici ürünü: klasik metrikler asla neden sorusunu yanıtlamaz.

Test düzeneği rastgele sıralama, matris ayrıştırma, LightGCN ve MultVAE'yi kapsıyor; izlenen öğe sayısı, ortalama puan, etkileşim süresi ve genel memnuniyetle ölçülüyor. Ajan geri bildirimi aynı zamanda artırılmış eğitim verisi oluyor; yani döngü, simüle kullanıcıların beğendikleriyle önericileri yeniden eğiterek kapatılabiliyor. İnceleyen kişi, simülatörün ödül modeli olduğu bir pekiştirmeli öğrenme geleceğini bile eskizliyor.

Doğrulama bir profil-hizalama testiyle başlıyor: her ajan, bir kısmı daha önce etkileşime girilmiş yirmi öğe alıyor ve seçim yapıyor. Profille beslenen ajanlar kullanıcının kendi favorilerini tutarlı biçimde geri buluyor; bu da beğenilerin kişiliğe gerçekten sıkıştırıldığını düşündürüyor. Görülmemiş öğe oranı değiştirilince ise tuhaf bir şey görülüyor: tercih edilen öğe sayısı neredeyse hiç oynamıyor.

Puan dağılımları ve activity özellikleri beklendiği gibi yeniden üretiliyor; modele kullanıcının nadiren film izlediğini söyleyin, simülasyon da nadiren izliyor. Strateji değerlendirmesi de tutarlı: daha güçlü önericiler daha yüksek simüle memnuniyet ve izleme olasılığı alıyor. Bu tekdüze tepki, her ölçüm aletinin göstermesi gereken asgari şey ve test geçiliyor.

En iddialı sonuç geri-besleme büyütmesi: ajanların izlediği filmlerle yeniden eğitim, tüm algoritmaları hem çevrimdışı metriklerde hem simüle memnuniyette iyileştiriyor; görmezden gelinen filmlerle eğitim ise deneyimi bozuyor. Simüle seçimler beğeninin tutarlı göstergeleriyse, simülatör aynadan fazlası, bir veri kaynağı oluyor.

Makale ayrıca bir filtre balonu etkisini yokluyor ve inceleyenin yöntem açısından eleştirdiği bir vakayla kapanıyor: ajanlardan gerekçeden önce memnuniyet puanı istemek, genelde daha iyi yargı veren prompt sırasını tersine çeviriyor. İnceleyen kişi GPT-3.5 motor seçimini de sorguluyor, daha ucuz açık modellerin daha az halüsinasyon görebileceğini söylüyor ve açık kaynak LangChain kod tabanını gösteriyor.

Kapanış mesajı, dil modelleriyle değerlendirmenin başlı başına bir araştırma programına dönüştüğü. Agent4Rec bunun erken aletlerinden biri: kusurlu, üstelik açıkça kusurlu; ama doğru hedefe nişan alıyor. Video onu ezberlenecek bir sonuçtan çok tartışılacak bir makale olarak ele alıyor ve simülatör bilimine karşı daha sağlıklı duruş da bu.