Trendande ämnen
#
Bonk Eco continues to show strength amid $USELESS rally
Hosico
Hosico−5,51 %
USELESS
USELESS−3,15 %
IKUN
IKUN+1,02 %
gib
gib−3,48 %
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
Bonk
Bonk−0,65 %
ALON
ALON−0,48 %
LAUNCHCOIN
LAUNCHCOIN−11,3 %
GOONC
GOONC+1,97 %
KLED
KLED−10,31 %
#
Boop.Fun leading the way with a new launchpad on Solana.
BOOP
BOOP−0,03 %
Boopa
Boopa+5,27 %
PORK
PORK0,00 %
Shuangfei Zhai
Shuangfei Zhai
12 mars 16:44·
Säg hej till Exclusive Self Attention (XSA), en (nästan) gratis förbättring av Transformers för LM. Observation: för y = attn(q, k, v) tenderar yi och vi att ha mycket hög cosinuslikhet Fix: exkludera vi från yi via zi = yi - (yiTvi)vi/‖vi‖² Resultat: bättre träning/valförlust över modellstorlekar; ökar vinsterna i takt med att sekvenslängden ökar. Se mer: