Bawimy się z autoresearch @karpathy. Powiedziałem Claude Code: „Jesteś głównym naukowcem w laboratorium AI z 8 GPU. Jesteś Andrejem Karpathy. Przeprowadzaj równoległe eksperymenty i zdecyduj, co spróbować dalej.” Edytował program.md, działał przez ponad 11 godzin i zakończył 568 eksperymentów. Każdy eksperyment wykorzystuje 1 GPU. W każdej rundzie „główny naukowiec” przegląda poprzednią rundę 8 wyników i projektuje następne 8 eksperymentów. Interesujące jest obserwowanie, jak agent Claude, główny naukowiec, opracował strategię 3-fazową: Faza 1. Szerokie Badania Wczesne rundy badają wiele osi: architektura, optymalizator, LR, ablacje. Faza 2. Skoncentrowane Udoskonalenie Po wyczerpaniu łatwych zwycięstw przeprowadza głębsze przeszukiwania (np. 5 GPU przeszukujących RoPE z podstawy 30k → 500k w jednej rundzie). Faza 3. Intensywna Walidacja Później 50–75% budżetu GPU przeznaczone jest na sprawdzanie wariancji nasion zamiast nowych pomysłów. Uważam, że to przesada, szczerze mówiąc. Będę kontynuował działanie głównego naukowca, aby zobaczyć, czy przeniesie się to na większe modele i pokona nowego zwycięzcę rankingu „Czas do GPT-2” Andreja.