Bu, <a href=" adlı bir araştırma makalesinin Plain English Papers özetidir: Uzun Davranış Ardışık Tavsiyesi için Hibrit Zamanlı-Farkında Dikkat Mimarisi</a>. Bu tür analizleri seviyorsanız, <a href=" sayfasına katılın veya <a href=" sayfamızdan bizi takip edin. <h2>İmkansız bir takas</h2> <p>Yıllarca, bir öneri sistemi kuran herkes gerçek bir ikilemle karşı karşıya kaldı. Kullanıcı davranış dizileri binlerce veya on binlerce etkileşime kadar uzanabiliyor. Bu geçmişi anlamlandırmak, aldatıcı derecede basit bir soruya cevap vermeyi gerektirir: Bir kullanıcının daha önce yaptığı her şeyi göz önüne aldığında, bundan sonra ne önermeliyiz?</p> <p>Standart yaklaşım, mevcut an ile geçmişteki tüm etkileşimler arasında ayrıntılı karşılaştırmalar hesaplayan softmax dikkat mekanizmasını kullanır. Matematiksel olarak zarif. Harika çalışıyor. Ancak hesaplama maliyeti, dizi uzunluğuna göre dörtregen olarak ölçeklenir. 10.000 etkileşimde, sadece bir öneri yapmak için yaklaşık 100 milyon karşılaştırma yapıyorsunuz. Bunu milyonlarca kullanıcı ve saniyede binlerce öneriye ölçeklendirirseniz, altyapı maliyetleriniz aşırı hale gelir.</p> <p>Yani uygulayıcılar uzlaşır. Hesaplama karmaşıklığını kuadratikten doğrusal hale düşüren doğrusal dikkat mekanizmalarına yönelirler. Matematik zekice ve hız artışları gerçek. Sorun şu: Bu hızın bir bedeli var. Bu mekanizmalar, her yeni etkileşimde güncellenen çalışan bir "durum" sağlar, ancak bu durumun kapasitesi sınırlıdır. Bu, tam kayıtlara bakmak yerine sadece küçük bir panoya kaba desenleri yazabilen bir kütüphaneci gibi. Kullanıcı niyetini gösteren belirli davranışsal dizileri tanıma için gereken hassasiyeti kaybedersiniz.
Bu takas alanı tanımladı. Verimli yöntemler doğruluğu feda eder. Hassas yöntemler hızdan ödün verir. Ve en çok acı çeken kullanıcılar, ultra uzun dizilere sahip olanlar, en ilginç davranışlara sahip güçlü kullanıcılar ve ağır katılımcılar.
HyTRec'in arkasındaki araştırmacılar bu süreci izledi ve farklı bir soru sordular: Ya bu aslında tek bir çözüm gerektiren tek bir sorun değilse?
Kullanıcıların gerçekte nasıl düşündüğü
İçgörüler, kullanıcı tercihlerinin gerçekte nasıl çalıştığına dair basit bir gözlemle başlar. İki temel olarak farklı tercih sinyali türüne sahip ve bunlar tamamen farklı zaman ölçeklerinde çalışıyor.
Uzun vadeli istikrarlı tercihleriniz derin geçmişten gelir. İki yıl içinde teknoloji cihazlarına 500 kez tıkladıysanız, bu teknolojiyi sevdiğinizin güçlü bir kanıtıdır. Bu tercih haftadan haftaya çok fazla değişmiyor. Önemli olarak, bu 500 etkileşimin her birine ihtiyacınız yok, kalıpı anlamak için. Aynı şeyi 50 tanesinden ya da kaba bir istatistiksel özetten öğrenebilirsiniz. Bu sinyali yaklaşık olarak kullanmak neredeyse hiçbir şey kaybetmez.
Kısa vadeli niyet artışlarınız son zamanlarda yaşanan davranışlardan kaynaklanıyor. Son iki saatte üç kişi kabanı taktıysanız, şu anda kaban alışverişi yapıyorsunuz. Bu sinyal kırılgan. Aylar önceki binlerce etkileşimle birlikte ortalamayı atlıyorsan, bunu kolayca gözden kaçırabilirsin. Ama önümüzdeki beş dakika içinde ne yapacağınızı inanılmaz derecede öngörücü.
Bunlar sadece dereceden değil, türde de farklıdır. Biri stabildir ve yaklaştırmaya tolere edebilir. Diğeri ise değişkendir ve hassasiyet gerektirir. Ancak mevcut yöntemler her ikisini de tek bir dikkat mekanizmasıyla ele almaya çalışır, kaçınılmaz olarak biri için diğerinin pahasına optimize edilir.
Hibrit çözüm
Zarif hareket, her şeyi yapan tek bir mekanizma kurmaya çalışmayı bırakmaktır. Bunun yerine, çalışmayı kullanıcıların gerçekten nasıl gezdiğini yansıtacak şekilde böl.
Mimari iki paralel yol uzanır. İlkide, tüm tarihsel diziniz, son altı ayda 9.000 etkileşim içerse bile, doğrusal bir dikkat dalından geçer. Bu dal kesin olmak zorunda değil. Bu, genel zevk kategorinizi geniş bir şekilde anlamak. Doğrusal dikkat kullandığı için, zaman içinde dizinin uzunluğuna orantılı olarak tamamlanır, dizinin kare uzunluğuna değil. Hızlı.
İkinci yolda, son iki haftada belki 1.000 etkileşiminiz softmax dikkat dalından geçiyor. Bu şube, çok küçük bir veri parçası üzerinde çalıştığı için pahalı olabilir. Şu anda ne isteyebileceğinizin kesin temsillerini üretir. Pahalı hesaplama yapıyorsun ama küçük bir sürede.
Her dal, "ne önermeliyiz" temsili üretir. Sonra mimari bunları akıllıca birleştirir. Softmax dikkatin hassasiyetini geri getirdiniz ve doğrusal dikkat hızını korudunuz, çünkü her biri artık kendi alanında çalışıyor.
HyTRec, uzun kullanıcı davranışı dizilerini iki özel dikkat mekanizması arasında bölerek kararlı tercihlerin ve son niyet artışlarının bağımsız olarak ele alınmasına olanak tanır.
Bu küçük bir değişiklik değil. Hesaplama karmaşıklığı, önceki yaklaşımların verimli şekilde yönetebileceğinden 10 kat daha uzun diziler üzerinde çalışırken, dizi uzunluğunda doğrusal kalır. Ama mimaride bir püf var.
Son sinyallerin önemli kılılması
Hibrit sistemdeki zorluk, doğrusal dikkat dalının binlerce etkileşime sahip olmasıdır. Softmax şubesi yüzlerce kişi gördü. Sadece ses seviyesi boyunca, lineer dalın sinyali daha yüksek olur. Ama öneride yenilik, hacimden daha önemlidir. Bugünden bir tıklama, altı ay önceki bir tıklamadan daha çok birinin ne istediğini anlatır.
Her iki dalı eşit şekilde ele alırsanız, eski veriler yeni verileri bastırır. Hesaplama problemini çözdünüz ama yanıt verme sorunu yarattınız.
Bu çözüme Zamansal Farkında Delta Ağı (TADN) denir. Mekanizma basit bir şey yapar: taze davranış sinyallerini dinamik olarak güçlendirirken tarihsel gürültüyü bastırır.
Bir kapı mekanizması hayal edin ve dizinin her bölümüne şu soruyu sorar: "Kaç yaşındasın?" Yeni etkileşimler daha yüksek önem kazanır. Eski etkileşimler daha düşük ağırlık kazanır. Bu sabit bir programda gerçekleşmez, verilerden öğrenilir. Ağ, şu gibi kalıpları keşfeder: "Bu kullanıcı için davranış kalıpları her birkaç günde bir değişir, bu yüzden bir haftadan eski etkileşimler yarı güçte ağırlıklandırılmalıdır."
TADN olmadan, hibrit sistem kullanıcının tercihleri değiştikçe giderek daha bayat öneriler sunar. Bununla birlikte, sistem değişime duyarlı olmaya devam ediyor. Son sinyaller doğal olarak öneriler üzerinde daha fazla etkiye sahiptir, ancak ağ, her kullanıcı ve etkileşim türü için ne kadar etkiyi anlamlı olduğunu tam olarak öğrenir.
Gerçek dünya sonuçları
Araştırmacılar, HyTRec'i gerçek kullanıcı davranış dizileri olan devasa veri setlerinde test ettiler; bu diziler her kullanıcı başına on binlerce etkileşime ulaştı. Bu temiz akademik veri değil, üretim ölçeğinde bir dağınıklık.
Hız açısından sonuçlar önemlidir. HyTRec, doğrusal çıkarım karmaşıklığını korur. Dizi uzunluğunu iki katına çıkarsanız, çıkarım süresi yaklaşık olarak iki katına çıkar. Softmax dikkat gibi dört katına çıkmıyor. 10.000 uzunlukta dizilerde bu fark, 50 milisaniye mi yoksa 5 saniye mi içinde önerebileceğinizi belirler. Milyonlarca kullanıcıya hizmet veren bir platformda, bu fark mümkün ile imkansız arasındaki çizgidir.
...