Popularne tematy
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Shuangfei Zhai
Badania nad uczeniem maszynowym @ Apple
Wow, rzeczy dzieją się naprawdę szybko. Najwyraźniej XSA już stało się standardowym komponentem w wiodących rozwiązaniach w otwartym wyzwaniu golfowym parametru openai.
12 mar, 16:44
Przywitajcie Ekskluzywną Samoobserwację (XSA), (prawie) darmową poprawę dla Transformerów w LM.
Obserwacja: dla y = attn(q, k, v), yᵢ i vᵢ mają tendencję do bardzo wysokiej podobieństwa kosinusowego.
Rozwiązanie: wyklucz vᵢ z yᵢ poprzez zᵢ = yᵢ - (yᵢᵀvᵢ)vᵢ/‖vᵢ‖²
Wynik: lepsza strata treningowa/walidacyjna w różnych rozmiarach modeli; rosnące zyski w miarę wydłużania się sekwencji.
Zobacz więcej:
144
Przywitajcie Ekskluzywną Samoobserwację (XSA), (prawie) darmową poprawę dla Transformerów w LM.
Obserwacja: dla y = attn(q, k, v), yᵢ i vᵢ mają tendencję do bardzo wysokiej podobieństwa kosinusowego.
Rozwiązanie: wyklucz vᵢ z yᵢ poprzez zᵢ = yᵢ - (yᵢᵀvᵢ)vᵢ/‖vᵢ‖²
Wynik: lepsza strata treningowa/walidacyjna w różnych rozmiarach modeli; rosnące zyski w miarę wydłużania się sekwencji.
Zobacz więcej:
753
Najlepsze
Ranking
Ulubione