Popularne tematy
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Yu Zhang 🐈🐙
@Kimi_Moonshot; doktorant @ Soochow University; prace nad efektywnymi metodami dla LLM; ucznia programowania równoległego; INTP
i gorąco polecam tę odpowiedź na Zhihu. Pozdrowienia dla zespołu kimi infra za wsparcie AttnRes! 🙌
Jakie są najważniejsze cechy nowo wydanego "residuum uwagi" od Kimi? Dlaczego Musk i Karpathy jednocześnie to polubili? - Odpowiedź Reku - Zhihu
16 mar, 11:03
Przedstawiamy 𝑨𝒕𝒕𝒆𝒏𝒕𝒊𝒐𝒏 𝑹𝒆𝒔𝒊𝒅𝒖𝒂𝒍𝒔: Przemyślenie agregacji w głębokości.
Połączenia rezydualne od dawna opierają się na stałym, jednolitym gromadzeniu. Zainspirowani dualnością czasu i głębokości, wprowadzamy Attention Residuals, zastępując standardową rekurencję w głębokości nauczoną, zależną od wejścia uwagą nad poprzednimi warstwami.
🔹 Umożliwia sieciom selektywne odzyskiwanie przeszłych reprezentacji, naturalnie łagodząc rozcieńczenie i wzrost stanu ukrytego.
🔹 Wprowadza Block AttnRes, dzieląc warstwy na skompresowane bloki, aby uczynić uwagą międzywarstwową praktyczną na dużą skalę.
🔹 Służy jako wydajny zamiennik, wykazując przewagę obliczeniową 1,25x przy znikomej (<2%) nadwyżce opóźnienia wnioskowania.
🔹 Walidowane na architekturze Kimi Linear (48B całkowitych, 3B aktywowanych parametrów), dostarczając spójne zyski w wydajności downstream.
🔗Pełny raport:
418
Pomysł obracania uwagi o 90° jest naprawdę super (zasługi dla spostrzeżeń @Jianlin_S), a co zaskakujące, działa.
My (z niesamowitym @nathanem) jesteśmy tym bardzo podekscytowani— pracowaliśmy nad artykułem przez miesiące i nie mogliśmy przestać.
Spróbujcie tego. To zamiennik dla standardowych reszt, stworzony w 2015 roku.
Bardzo podobają mi się te wykresy, nawiasem mówiąc :-)
16 mar, 11:03
Przedstawiamy 𝑨𝒕𝒕𝒆𝒏𝒕𝒊𝒐𝒏 𝑹𝒆𝒔𝒊𝒅𝒖𝒂𝒍𝒔: Przemyślenie agregacji w głębokości.
Połączenia rezydualne od dawna opierają się na stałym, jednolitym gromadzeniu. Zainspirowani dualnością czasu i głębokości, wprowadzamy Attention Residuals, zastępując standardową rekurencję w głębokości nauczoną, zależną od wejścia uwagą nad poprzednimi warstwami.
🔹 Umożliwia sieciom selektywne odzyskiwanie przeszłych reprezentacji, naturalnie łagodząc rozcieńczenie i wzrost stanu ukrytego.
🔹 Wprowadza Block AttnRes, dzieląc warstwy na skompresowane bloki, aby uczynić uwagą międzywarstwową praktyczną na dużą skalę.
🔹 Służy jako wydajny zamiennik, wykazując przewagę obliczeniową 1,25x przy znikomej (<2%) nadwyżce opóźnienia wnioskowania.
🔹 Walidowane na architekturze Kimi Linear (48B całkowitych, 3B aktywowanych parametrów), dostarczając spójne zyski w wydajności downstream.
🔗Pełny raport:
646
Najlepsze
Ranking
Ulubione