次の数本の動画ではSLMの微調整について紹介します。 ❤️ 🔥 - もともとは、プレトレーニング後のモデル開発(CPT、ミッドトレーニング、SFT、RLHF、RLVR)をカバーする60分の動画を作ろうとしていました。 - でもそれには何ヶ月もかかるから、代わりに20分~のミニシリーズを作ってるんだ。 - 必要に応じてHFやパイトーチを使いながら、アンスロース(アロース)を全てに行う。現実の部分はPrime Labsを使います。 - コードはさておき、主な焦点はデータセットです。 OSデータセットの特定、準備、トレーニング用の合成データセット生成など - もう一つの主要な専攻は評価に関することだ。指標用のハーネスの設定。 - 後の動画のトピックはまだ完全に計画されておらず、スクリーンショットが基本的なロードマップです。皆さんからの質問に応じて様子を見ます! - その合間に他のビデオも必ず制作します。もし心がさまよったら、そのままにしておきます。でも、あと3ヶ月くらいで読み終えたいと思っています。 すべては私の楽しみ度、世界で起きていること、そして観客が何に関わりたいかにかかっています。 とはいえ、次の動画はカスタムデータセットでの継続的な事前学習について100%取り上げます。