Populární témata
#
Bonk Eco continues to show strength amid $USELESS rally
Hosico
Hosico-4,54 %
USELESS
USELESS-0,89 %
IKUN
IKUN+1,14 %
gib
gib+0,26 %
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
Bonk
Bonk+5,45 %
ALON
ALON+0,05 %
LAUNCHCOIN
LAUNCHCOIN-3,43 %
GOONC
GOONC+0,89 %
KLED
KLED-3,52 %
#
Boop.Fun leading the way with a new launchpad on Solana.
BOOP
BOOP+0,07 %
Boopa
Boopa-0,42 %
PORK
PORK0,00 %
Shuangfei Zhai
Shuangfei Zhai
12. 3. 16:44·
Pozdravte Exclusive Self Attention (XSA), což je (téměř) bezplatné vylepšení Transformers pro LM. Pozorování: pro y = attn(q, k, v) mají yi a vi tendenci mít velmi vysokou kosinusovou podobnost Oprava: vyloučit vi z yi přes zi = yi - (yiTvi)vi/‖vi‖² Výsledek: lepší ztráta trénování/hodnoty napříč velikostmi modelů; zvyšující se zisky s rostoucí délkou sekvence. Více informací: