De kommande videorna kommer att handla om att finjustera SLM. ❤️ 🔥 - Ursprungligen ville jag ha en 60 minuters video som täcker modellutveckling efter förträning (CPT, Midtraining, SFT, RLHF, RLVR) - Men det skulle ta månader, så istället gör jag en miniserie med ~20 minuters videor. - Unsloth genom hela tiden med lite HF och Pytorch där det behövs. RL-delen kommer att använda Prime Labs. - Kod åt sidan, det största huvudfokuset kommer att vara dataset. identifiera OS-datamängder, förbereda dem, generera syntetiska datamängder för träning, etc - En annan huvudämne handlar om utvärdering. Sätter upp selar för mätvärden. - Ämnen för senare videor är ännu inte helt planerade, skärmdump är grundläggande färdplan. Jag kommer att ta det som det kommer, beroende på vilka frågor jag får från er! - Jag kommer definitivt att jobba på andra videor däremellan. Om tankarna vandrar låter jag det. Men jag hoppas att jag blir klar med den inom de närmaste tre månaderna eller så. Allt beror på min njutning, vad som händer i världen och vad min publik vill engagera sig i. Med det sagt kommer min nästa video att handla 100 % om fortsatt förträning på anpassade dataset.