Proste dodanie szumu Gaussa do LLM-ów (jeden krok — bez iteracji, bez współczynnika uczenia, bez gradientów) oraz ich ensembling może osiągnąć wyniki porównywalne, a nawet lepsze niż standardowe GRPO/PPO w zadaniach związanych z rozumowaniem matematycznym, kodowaniem, pisaniem i chemią. Nazywamy ten algorytm RandOpt. Aby zweryfikować, że nie jest to ograniczone do konkretnych modeli, przetestowaliśmy go na Qwen, Llama, OLMo3 i VLM-ach. Co za tym stoi? Odkrywamy, że w sąsiedztwie wyszukiwania Gaussa wokół wstępnie wytrenowanych LLM-ów, różnorodni eksperci w zadaniach są gęsto rozmieszczeni — reżim, który nazywamy Gęstwiny Neuronalnej. Artykuł: Kod: Strona internetowa:

Uczenie przez wzmocnienie (RL) od dawna jest dominującą metodą dostrajania, napędzając wiele najnowocześniejszych LLM-ów. Metody takie jak PPO i GRPO eksplorują w przestrzeni akcji. Ale czy możemy zamiast tego eksplorować bezpośrednio w przestrzeni parametrów? TAK, możemy. Proponujemy skalowalny framework do pełnego dostrajania parametrów z wykorzystaniem strategii ewolucyjnych (ES). Pomijając gradienty i optymalizując bezpośrednio w przestrzeni parametrów, ES osiąga dokładniejsze, bardziej efektywne i stabilne dostrajanie. Artykuł: Kod: