Ajouter simplement du bruit gaussien aux LLMs (une étape — pas d'itérations, pas de taux d'apprentissage, pas de gradients) et les assembler peut atteindre des performances comparables, voire meilleures que celles des méthodes standard GRPO/PPO sur des tâches de raisonnement mathématique, de codage, d'écriture et de chimie. Nous appelons cet algorithme RandOpt. Pour vérifier que cela n'est pas limité à des modèles spécifiques, nous l'avons testé sur Qwen, Llama, OLMo3 et VLMs. Qu'est-ce qui se cache derrière cela ? Nous constatons que dans le voisinage de recherche gaussien autour des LLMs préentraînés, des experts de tâches divers sont densément répartis — un régime que nous appelons les Buissons Neuraux. Article : Code : Site Web :

L'apprentissage par renforcement (RL) a longtemps été la méthode dominante pour le fine-tuning, alimentant de nombreux LLM à la pointe de la technologie. Des méthodes comme PPO et GRPO explorent dans l'espace d'action. Mais pouvons-nous plutôt explorer directement dans l'espace des paramètres ? OUI, nous le pouvons. Nous proposons un cadre évolutif pour le fine-tuning complet des paramètres en utilisant des stratégies d'évolution (ES). En évitant les gradients et en optimisant directement dans l'espace des paramètres, les ES permettent un fine-tuning plus précis, efficace et stable. Article : Code :