Os próximos vídeos serão sobre o ajuste fino de SLMs.❤️‍🔥 - Originalmente, eu queria um vídeo de 60 minutos cobrindo o desenvolvimento do modelo após o pré-treinamento (CPT, Midtraining, SFT, RLHF, RLVR) - Mas isso levaria meses, então em vez disso, estou fazendo uma mini-série de vídeos de ~20 minutos. - Deslizando ao longo com algum HF e Pytorch onde necessário. A parte de RL usará Prime Labs. - Deixando o código de lado, o foco principal será em conjuntos de dados. identificando conjuntos de dados OS, preparando-os, gerando conjuntos de dados sintéticos para treinamento, etc. - Outro foco importante será sobre avaliação. Configurando estruturas para métricas. - Os tópicos dos vídeos posteriores ainda não estão totalmente planejados, a captura de tela é um roteiro básico. Eu vou improvisar de acordo com as perguntas que receber de vocês! - Eu definitivamente estarei trabalhando em outros vídeos no meio tempo. Se minha mente divagar, eu deixarei. Mas espero terminar isso nos próximos 3 meses ou mais. Tudo depende do meu prazer, do que mais está acontecendo no mundo e do que meu público quer se envolver. Dito isso, meu próximo vídeo será 100% sobre o pré-treinamento contínuo em conjuntos de dados personalizados.