Trendaavat aiheet
#
Bonk Eco continues to show strength amid $USELESS rally
Hosico
Hosico+8,43 %
USELESS
USELESS+1,19 %
IKUN
IKUN+5,46 %
gib
gib+3,25 %
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
Bonk
Bonk+4,26 %
ALON
ALON+7,4 %
LAUNCHCOIN
LAUNCHCOIN−4,43 %
GOONC
GOONC+2,32 %
KLED
KLED+6,18 %
#
Boop.Fun leading the way with a new launchpad on Solana.
BOOP
BOOP−0,7 %
Boopa
Boopa+7,25 %
PORK
PORK+0,13 %
header
Yulu Gan
Tohtoriopiskelija @MITEECS @MIT_CSAIL @MIT_CBMM / entinen @PKU1898 @MSFTResearch (M)LLM-päättely, neuroevoluutio, älykkyyden synty, älykkyyden ymmärtäminen
Yulu Gan
Yulu Gan13.3. klo 23.41
Pelkkä Gaussin kohinan lisääminen LLM-malleihin (yksi vaihe – ei iteraatioita, ei oppimisnopeutta, ei gradientteja) ja niiden kokoonpano voi saavuttaa suorituskyvyn, joka on verrattavissa tai jopa parempi kuin tavallinen GRPO/PPO matemaattisessa päättelyssä, koodauksessa, kirjoittamisessa ja kemian tehtävissä. Kutsumme tätä algoritmia RandOptiksi. Varmistaaksemme, ettei tämä rajoitu tiettyihin malleihin, testasimme sitä Qwenillä, Llamalla, OLMo3:lla ja VLM:illä. Mikä tämän taustalla on? Havaitsimme, että Gaussin hakualueella esikoulutettujen LLM:ien ympärillä erilaiset tehtäväasiantuntijat ovat tiheästi hajautuneita — tätä järjestelmää kutsumme hermotiheiköiksi. Artikkeli: Koodi: Verkkosivusto:
425
Yulu Gan
Yulu Gan6.10.2025
Vahvistusoppiminen (RL) on pitkään ollut hallitseva hienosäätömenetelmä, joka on tehostanut monia huippuluokan LLM:iä. Menetelmät, kuten PPO ja GRPO, tutkivat toiminta-avaruudessa. Mutta voimmeko sen sijaan tutkia suoraan parametriavaruudessa? Kyllä me siihen pystymme. Ehdotamme skaalautuvaa kehystä täyden parametrin hienosäätöön Evolution Strategies (ES) -ohjelman avulla. Ohittamalla gradientit ja optimoimalla suoraan parametriavaruudessa ES saavuttaa tarkemman, tehokkaamman ja vakaamman hienosäädön. Paperi: Koodi:
497