Populære emner
#
Bonk Eco continues to show strength amid $USELESS rally
Hosico
Hosico−5,51 %
USELESS
USELESS−2,92 %
IKUN
IKUN+1,02 %
gib
gib−3,48 %
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
Bonk
Bonk−0,71 %
ALON
ALON−0,48 %
LAUNCHCOIN
LAUNCHCOIN−11,3 %
GOONC
GOONC+1,97 %
KLED
KLED−9,39 %
#
Boop.Fun leading the way with a new launchpad on Solana.
BOOP
BOOP−0,03 %
Boopa
Boopa+5,27 %
PORK
PORK0,00 %
Shuangfei Zhai
Shuangfei Zhai
12. mars, 16:44·
Si hei til Exclusive Self Attention (XSA), en (nesten) gratis forbedring av Transformers for LM. Observasjon: for y = attn(q, k, v), har yi og vi en tendens til å ha svært høy kosinuslikhet Fiks: ekskluder vi fra yi via zi = yi - (yiTvi)vi/‖vi‖² Resultat: bedre trening/verdi-tap på tvers av modellstørrelser; økende gevinster etter hvert som sekvenslengden øker. Se mer: