Наступні кілька відео будуть про тонке налаштування SLM. ❤️ 🔥 - Спочатку я хотів 60-хвилинне відео про розробку моделей після попереднього навчання (CPT, Midtraining, SFT, RLHF, RLVR) - Але це зайняло б у мене місяці, тож замість цього я роблю міні-серію з ~20-хвилинних відео. - Unsloth протягом усього часу з деякими HF і Pytorch, де потрібно. Частина RL використовуватиме Prime Labs. - Відкинувши код, основний акцент буде на наборах даних. ідентифікація наборів даних ОС, їх підготовка, генерація синтетичних наборів даних для навчання тощо - Ще одна основна спеціальність — оцінювання. Налаштування ременів для метрик. - Теми наступних відео ще не повністю сплановані, скріншоти — це базова дорожня карта. Я буду діяти за тим, які питання отримаю від вас! - Я точно працюватиму над іншими відео між ними. Якщо мої думки відволікаються, я дозволю цьому. Але сподіваюся, що закінчу її приблизно за наступні 3 місяці. Все залежить від мого задоволення, від того, що ще відбувається у світі, і від того, з чим моя аудиторія хоче взаємодіяти. Тим не менш, моє наступне відео буде на 100% про продовження попереднього навчання на кастомних наборах даних.