Aggiungere semplicemente rumore gaussiano agli LLM (un passo—nessuna iterazione, nessun tasso di apprendimento, nessun gradiente) e combinarli può raggiungere prestazioni comparabili o addirittura migliori rispetto ai GRPO/PPO standard in compiti di ragionamento matematico, programmazione, scrittura e chimica. Chiamiamo questo algoritmo RandOpt. Per verificare che ciò non sia limitato a modelli specifici, lo abbiamo testato su Qwen, Llama, OLMo3 e VLM. Cosa c'è dietro a questo? Scopriamo che nel quartiere di ricerca gaussiana attorno agli LLM pre-addestrati, esperti di compiti diversi sono densamente distribuiti — un regime che definiamo Neural Thickets. Carta: Codice: Sito web:

Il Reinforcement Learning (RL) è da tempo il metodo dominante per il fine-tuning, alimentando molti LLM all'avanguardia. Metodi come PPO e GRPO esplorano nello spazio delle azioni. Ma possiamo invece esplorare direttamente nello spazio dei parametri? SÌ, possiamo. Proponiamo un framework scalabile per il fine-tuning completo dei parametri utilizzando le Strategie Evolutive (ES). Saltando i gradienti e ottimizzando direttamente nello spazio dei parametri, le ES raggiungono un fine-tuning più accurato, efficiente e stabile. Carta: Codice: