Dette er et sammendrag av en forskningsartikkel kalt <a href=" En hybrid tidsbevisst oppmerksomhetsarkitektur for lang atferd: sekvensiell anbefaling</a>. Hvis du liker denne typen analyser, bli med <a href=" eller følg oss på <a href=" <h2>Den umulige avveiningen</h2> <p>I årevis sto alle som bygde et anbefalingssystem overfor et reelt dilemma. Sekvenser for brukeratferd kan strekke seg til tusenvis eller titusenvis av interaksjoner. Å forstå denne historikken krever svar på et tilsynelatende enkelt spørsmål: gitt alt en bruker har gjort før, hva bør vi anbefale videre?</p> <p>Standardtilnærmingen bruker softmax-oppmerksomhet, en mekanisme som beregner detaljerte sammenligninger mellom det nåværende øyeblikket og hver eneste tidligere interaksjon. Matematisk sett er det elegant. Det fungerer utmerket. Men beregningskostnaden skalerer kvadratisk med sekvenslengden. Ved 10 000 interaksjoner utfører du omtrent 100 millioner sammenligninger bare for å gi én anbefaling. Skaler det over millioner av brukere og tusenvis av anbefalinger per sekund, og infrastrukturkostnadene dine blir uoverkommelige.</p> <p>Så utøvere inngår kompromisser. De vender seg til lineære oppmerksomhetsmekanismer, som reduserer beregningskompleksiteten fra kvadratisk til lineær. Matematikken er smart, og fartsøkningene er reelle. Problemet: den farten kommer med en pris. Disse mekanismene opprettholder en løpende "tilstand" som oppdateres med hver ny interaksjon, men denne tilstanden har begrenset kapasitet. Det er som en bibliotekar som bare kan notere grove mønstre på en liten klippetavle i stedet for å konsultere fullstendige arkiver. Du mister presisjonen som trengs for å gjenkjenne spesifikke atferdssekvenser som indikerer brukerens intensjon.
Denne avveiningen har definert feltet. Effektive metoder ofrer nøyaktighet. Presise metoder ofrer hastighet. Og de brukerne som lider mest er de med ultralange sekvenser, de avanserte brukerne og de tunge engasjererne som har mest interessant atferd å lære av.
Forskerne bak HyTRec så dette utspille seg og stilte et annet spørsmål: Hva om dette faktisk ikke er et enkelt problem som krever én løsning?
Hvordan brukere faktisk tenker
Innsikten starter med en enkel observasjon om hvordan brukerpreferanser faktisk fungerer. Du har to fundamentalt forskjellige typer preferansesignaler, og de opererer på helt forskjellige tidsskalaer.
Dine langsiktige stabile preferanser kommer fra en dyp historie. Hvis du har klikket på teknologiske gadgets 500 ganger over to år, er det et sterkt bevis på at du liker teknologi. Denne preferansen varierer ikke mye fra uke til uke. Viktigst av alt, du trenger ikke hver eneste av de 500 interaksjonene for å forstå mønsteret. Du kan lære det samme fra 50 av dem, eller til og med fra en grov statistisk oppsummering. Å være omtrentlig med dette signalet taper nesten ingenting.
Dine kortsiktige intensjonsøkninger kommer fra nylig oppførsel. Hvis du har klikket på tre vinterjakker de siste to timene, er du på jakt etter jakker akkurat nå. Dette signalet er skjørt. Det er lett å overse hvis du tar det i snitt med tusenvis av andre interaksjoner fra flere måneder tilbake. Men det er utrolig forutsigbart for hva du vil gjøre de neste fem minuttene.
Disse er ikke bare forskjellige i grad, de er forskjellige i art. Den ene er stabil og kan tåle tilnærminger. Den andre er ustabil og krever presisjon. Likevel prøver eksisterende metoder å håndtere begge med én oppmerksomhetsmekanisme, og optimaliserer uunngåelig for den ene på bekostning av den andre.
Den hybride løsningen
Det elegante trekket er å slutte å prøve å bygge én mekanisme som gjør alt. Del heller arbeidet på en måte som speiler hvordan brukerne faktisk blar.
Arkitekturen følger to parallelle stier. I den første går hele din historiske sekvens, selv om den inneholder 9 000 interaksjoner fra de siste seks månedene, gjennom en lineær oppmerksomhetsgren. Denne grenen trenger ikke å være presis. Det handler om å bygge en bred forståelse av din overordnede smakskategori. Fordi den bruker lineær oppmerksomhet, fullføres den i tid proporsjonal med sekvenslengde, ikke sekvenslengde i kvadrat. Det går fort.
I den andre veien går dine siste interaksjoner, kanskje 1 000 fra de siste to ukene, gjennom en softmax-oppmerksomhetsgren. Denne grenen kan være dyr fordi den opererer på et lite datasegment. Den gir presise representasjoner av hva du kan ønske deg akkurat nå. Du gjør kostbar beregning, men på et lite vindu.
Hver gren produserer en representasjon av «hva bør vi anbefale». Deretter kombinerer arkitekturen dem på en intelligent måte. Du har gjenopprettet presisjonen til softmax-oppmerksomhet samtidig som du opprettholder hastigheten på lineær oppmerksomhet, fordi hver av dem nå opererer i sitt riktige domene.
HyTRec deler lange brukeratferdssekvenser mellom to spesialiserte oppmerksomhetsmekanismer, noe som gjør det mulig å håndtere stabile preferanser og nylige intensjonspikes uavhengig.
Dette er ikke en liten justering. Den beregningsmessige kompleksiteten forblir lineær i sekvenslengde, samtidig som den opererer på sekvenser ti ganger lengre enn tidligere tilnærminger effektivt kunne håndtere. Men det ligger en hake i arkitekturen.
Å gjøre nylige signaler viktige
Utfordringen med et hybridsystem er at den lineære oppmerksomhetsgrenen har hatt tusenvis av interaksjoner. Softmax-avdelingen har sett hundrevis. I ren volum er signalet til den lineære grenen høyere. Men når det gjelder anbefaling, betyr nylighet mer enn volum. Et klikk fra i dag forteller deg mer om hva noen ønsker enn et klikk fra for seks måneder siden.
Hvis du behandler begge grenene likt, overdøver de utdaterte dataene de ferske dataene. Du har løst det beregningsmessige problemet, men skapt et responsivitetsproblem.
Løsningen kalles Temporal-Aware Delta Network, eller TADN. Mekanismen gjør noe enkelt: dynamisk forsterker nye atferdssignaler samtidig som den undertrykker historisk støy.
Tenk deg en sperremekanisme som spør hver del av sekvensen: «Hvor gammel er du?» Nye interaksjoner gir høyere vekt. Gamle interaksjoner får lavere vekt. Dette skjer ikke på en fast tidsplan, det læres fra data. Nettverket oppdager mønstre som: «For denne brukeren endrer atferdsmønstrene seg hver tredje dag, så interaksjoner eldre enn en uke bør vektes til halv styrke.»
Uten TADN ville hybridsystemet gi stadig mer utdaterte anbefalinger etter hvert som brukerens preferanser endrer seg. Med dette forblir systemet responsivt for endringer. Nylige signaler har naturlig nok mer innflytelse over anbefalinger, men nettverket lærer nøyaktig hvor mye innflytelse som gir mening for hver bruker og interaksjonstype.
Resultater fra den virkelige verden
Forskerne testet HyTRec på enorme datasett med faktiske brukeratferdssekvenser som strakte seg til titusenvis av interaksjoner per bruker. Dette er ikke rene akademiske data, det er produksjonsmessig rot.
Nårdet gjelder fart, betyr resultatene noe. HyTRec opprettholder lineær inferenskompleksitet. Dobler sekvenslengden, og slutningstiden dobles omtrent. Det firedobler seg ikke slik softmax-oppmerksomhet ville gjort. Ved sekvenser med 10 000 lengder avgjør denne forskjellen om du kan anbefale på 50 millisekunder eller 5 sekunder. På en plattform som betjener millioner av brukere, er forskjellen grensen mellom gjennomførbart og umulig.
...