Sadece LLM'lere Gauss gürültüsü eklemek (tek adım—iterasyon yok, öğrenme hızı yok, gradyan yok) ve onları birleştirmek, matematiksel akıl yürütme, kodlama, yazma ve kimya görevlerinde standart GRPO/PPO ile karşılaştırılabilir veya hatta daha iyi performans elde edebilir. Bu algoritmaya RandOpt diyoruz. Bunun sadece belirli modellerle sınırlı olmadığını doğrulamak için Qwen, Llama, OLMo3 ve VLM'lerde test ettik. Bunun arkasında ne var? Önceden eğitilmiş LLM'lerin çevresindeki Gauss arama mahallesinde çeşitli görev uzmanlarının yoğun şekilde dağınık olduğunu görüyoruz — bu rejime Sinir Çalılıkları adını veriyoruz. Makale: Kod: Web Sitesi:

Takviyeli Öğrenme (RL), uzun süredir ince ayar için baskın yöntem olmuştur ve birçok son teknoloji ürünü LLM'ye güç vermektedir. PPO ve GRPO gibi yöntemler eylem alanında keşfeder. Ancak bunun yerine doğrudan parametre uzayında keşfedebilir miyiz? Evet yapabiliriz. Evolution Strategies (ES) kullanarak tam parametreli ince ayar için ölçeklenebilir bir çerçeve öneriyoruz. ES, gradyanları atlayarak ve doğrudan parametre uzayında optimizasyon yaparak daha doğru, verimli ve kararlı ince ayar elde eder. Kâğıt: Kod: