Los próximos videos tratarán sobre el ajuste fino de SLMs.❤️‍🔥 - Originalmente quería un video de 60 minutos cubriendo el desarrollo del modelo después del preentrenamiento (CPT, Midtraining, SFT, RLHF, RLVR) - Pero eso me llevaría meses, así que en su lugar estoy haciendo una mini serie de videos de ~20 minutos. - Sin pereza a lo largo con algo de HF y Pytorch donde sea necesario. La parte de RL usará Prime Labs. - Aparte del código, el enfoque principal será sobre los conjuntos de datos. identificando conjuntos de datos de OS, preparándolos, generando conjuntos de datos sintéticos para el entrenamiento, etc. - Otro enfoque importante será sobre la evaluación. Configurando arneses para métricas. - Los temas de videos posteriores no están completamente planeados aún, la captura de pantalla es una hoja de ruta básica. Lo haré según lo que preguntas reciba de ustedes. - Definitivamente estaré trabajando en otros videos entre tanto. Si mi mente divaga, lo dejaré. Pero espero terminarlo en los próximos 3 meses más o menos. Todo depende de mi disfrute, de lo que esté sucediendo en el mundo y de lo que mi audiencia quiera involucrarse. Dicho esto, mi próximo video será 100% sobre el preentrenamiento continuo en conjuntos de datos personalizados.