Trend Olan Konular
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Shuangfei Zhai
Makine Öğrenimi Araştırması @ Apple
LM için Transformers'a (neredeyse) ücretsiz bir geliştirme olan Exclusive Self Attention (XSA) ile selam deyin.
Gözlem: y = attn(q, k, v) için, yi ve vi çok yüksek kosinüs benzerliğe sahiptir
Düzeltme: vi ile yi ile zi = yi - (yiTvi)vi/‖vi‖²
Sonuç: model boyutları arasında daha iyi eğitim/değer kaybı; Dizi uzunluğu arttıkça kazançlar artır.
Daha fazlasını gör:
144
En İyiler
Sıralama
Takip Listesi