Актуальні теми
#
Bonk Eco continues to show strength amid $USELESS rally
Hosico
Hosico-5,51%
USELESS
USELESS-3,15%
IKUN
IKUN+1,02%
gib
gib-3,48%
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
Bonk
Bonk-0,65%
ALON
ALON-0,48%
LAUNCHCOIN
LAUNCHCOIN-11,3%
GOONC
GOONC+1,97%
KLED
KLED-10,31%
#
Boop.Fun leading the way with a new launchpad on Solana.
BOOP
BOOP-0,03%
Boopa
Boopa+5,27%
PORK
PORK0,00%
Shuangfei Zhai
Shuangfei Zhai
12 бер., 16:44·
Привітайтеся з Exclusive Self Attention (XSA), (майже) безкоштовним покращенням Transformers для LM. Спостереження: для y = attn(q, k, v), yi і vi мають дуже високу косинусну схожість Виправлення: виключити vi з yi через zi = yi - (yiTvi)vi/‖vi‖² Результат: краща втрата тренувань/val залежно від розміру моделі; збільшується приріст із збільшенням довжини послідовності. Дивіться більше: