Następne kilka filmów będzie dotyczyć dostrajania SLM-ów.❤️‍🔥 - Początkowo chciałem zrobić 60-minutowy film dotyczący rozwoju modelu po wstępnym treningu (CPT, Midtraining, SFT, RLHF, RLVR) - Ale zajmie mi to miesiące, więc zamiast tego robię mini-serię filmów o długości ~20 minut. - Będzie to nieustanne z elementami HF i Pytorch tam, gdzie to konieczne. Część RL będzie korzystać z Prime Labs. - Oprócz kodu, głównym, głównym, głównym celem będą zbiory danych. identyfikowanie zbiorów danych OS, ich przygotowywanie, generowanie syntetycznych zbiorów danych do treningu itd. - Kolejnym głównym tematem będzie ocena. Ustawianie systemów do pomiaru metryk. - Tematy późniejszych filmów nie są jeszcze w pełni zaplanowane, zrzut ekranu to podstawowa mapa drogowa. Będę działać w zależności od pytań, które dostanę od was! - Zdecydowanie będę pracować nad innymi filmami w międzyczasie. Jeśli mój umysł będzie błądził, pozwolę mu na to. Ale mam nadzieję, że skończę to w ciągu najbliższych 3 miesięcy. Wszystko zależy od mojej przyjemności, co jeszcze dzieje się na świecie i z czym chce się zaangażować moja publiczność. Mówiąc to, mój następny film będzie w 100% o kontynuacji wstępnego treningu na niestandardowych zbiorach danych.