Cukup menambahkan noise Gaussian ke LLM (satu langkah—tanpa iterasi, tidak ada tingkat pembelajaran, tidak ada gradien) dan memasangnya dapat mencapai kinerja yang sebanding atau bahkan lebih baik daripada GRPO/PPO standar pada tugas penalaran matematika, pengkodean, penulisan, dan kimia. Kami menyebut algoritma ini RandOpt. Untuk memverifikasi bahwa ini tidak terbatas pada model tertentu, kami mengujinya pada Qwen, Llama, OLMo3, dan VLM. Apa yang ada di balik ini? Kami menemukan bahwa di lingkungan pencarian Gaussian di sekitar LLM yang telah dilatih sebelumnya, beragam ahli tugas tersebar padat - rezim yang kami sebut Neural Thickets. Kertas: Kode: Situs web:

Reinforcement Learning (RL) telah lama menjadi metode dominan untuk penyempurnaan, mendukung banyak LLM canggih. Metode seperti PPO dan GRPO mengeksplorasi ruang aksi. Tetapi bisakah kita mengeksplorasi langsung di ruang parameter? Ya kita bisa. Kami mengusulkan kerangka kerja yang dapat diskalakan untuk penyempurnaan parameter penuh menggunakan Strategi Evolusi (ES). Dengan melewatkan gradien dan mengoptimalkan langsung di ruang parameter, ES mencapai penyempurnaan yang lebih akurat, efisien, dan stabil. Kertas: Kode: