Les prochaines vidéos seront consacrées à l'affinage des SLMs.❤️‍🔥 - À l'origine, je voulais une vidéo de 60 minutes couvrant le développement du modèle après le pré-entraînement (CPT, Midtraining, SFT, RLHF, RLVR) - Mais cela me prendrait des mois, donc à la place, je fais une mini-série de vidéos d'environ 20 minutes. - Unsloth tout au long avec un peu de HF et Pytorch si nécessaire. La partie RL utilisera Prime Labs. - En dehors du code, l'accent majeur sera mis sur les ensembles de données. identifier les ensembles de données OS, les préparer, générer des ensembles de données synthétiques pour l'entraînement, etc. - Un autre point majeur sera l'évaluation. Mettre en place des harnais pour les métriques. - Les sujets des vidéos ultérieures ne sont pas encore entièrement planifiés, la capture d'écran est une feuille de route de base. Je m'adapterai en fonction des questions que je recevrai de votre part ! - Je travaillerai très certainement sur d'autres vidéos entre-temps. Si mon esprit s'égare, je le laisserai faire. Mais j'espère le terminer dans les 3 mois qui viennent. Tout dépend de mon plaisir, de ce qui se passe dans le monde, et de ce que mon public souhaite aborder. Cela dit, ma prochaine vidéo sera 100 % consacrée à la poursuite du pré-entraînement sur des ensembles de données personnalisés.