Beberapa video berikutnya akan membahas tentang penyempurnaan SLM. ❤️ 🔥 - Awalnya saya menginginkan video 60 menit yang mencakup model dev setelah prapelatihan (CPT, Midtraining, SFT, RLHF, RLVR) - Tapi itu akan memakan waktu berbulan-bulan, jadi sebagai gantinya saya membuat mini-seri ~20 menit video. - Lepaskan kemalasan dengan beberapa HF dan Pytorch jika perlu. Bagian RL akan menggunakan Prime Labs. - Selain kode, fokus utama utama adalah kumpulan data. mengidentifikasi himpunan data OS, mempersiapkannya, membuat kumpulan data sintetis untuk pelatihan, dll - Jurusan utama lainnya adalah tentang evaluasi. Menyiapkan harness untuk metrik. - Topik video selanjutnya belum sepenuhnya direncanakan, tangkapan layar adalah peta jalan dasar. Saya akan memainkannya dengan telinga sesuai dengan pertanyaan apa yang saya dapatkan dari kalian! - Saya pasti akan mengerjakan video lain di antaranya. Jika pikiranku mengembara, aku akan membiarkannya. Tapi saya harap saya menyelesaikannya dalam 3 bulan ke depan atau lebih. Itu semua tergantung pada kesenangan saya, apa lagi yang terjadi di dunia, dan apa yang ingin diikuti oleh audiens saya. Konon, video saya berikutnya akan 100% tentang prapelatihan berkelanjutan pada kumpulan data khusus.