🚨🚨 Animado para compartilhar nossos primeiros resultados *positivos* sobre IA na educação! A maior parte do trabalho de tutor de IA foca em melhorar o chatbot. Sugerimos outra alavanca: decidir o que os alunos devem praticar a seguir para melhorar o aprendizado. Combinamos um tutor de LLM com aprendizado por reforço para personalizar o sequenciamento de problemas usando sinais de interações entre aluno e chatbot e tentativas de solução. Testamos isso em um experimento de campo randomizado de 5 meses em um curso de Python em 10 escolas de ensino médio em Taipei. Todos os alunos tinham o mesmo material do curso e o mesmo tutor de IA. A única diferença era o sequenciamento adaptativo versus fixo de problemas. Resultado: entre 770 alunos, o sequenciamento adaptativo melhorou o desempenho em um exame final presencial realizado sem assistência de IA por 0,15 SD, com efeitos maiores para iniciantes. Nossas evidências sugerem que os ganhos vieram de um engajamento mais forte e do uso mais produtivo da IA.

Queria fazer alguns esclarecimentos, que acreditamos estarem claros em nosso artigo, mas não no meu post original (reanalisando @METR_Evals dados). Nossa contribuição é propor o progresso como um produto multiplicativo dos sigmoides em torno de diferentes inovações. Dados os dados do METR, dividimos em melhorias nas capacidades base (tamanho dos dados/modelo) e no raciocínio. Mostramos que esse produto oferece um ajuste semelhante *na amostra* aos pequenos conjuntos de dados que observamos como crescimento exponencial. No entanto, as implicações são bem diferentes! Sob nosso modelo, precisaríamos de inovações contínuas (semelhantes ao raciocínio) para ver um progresso exponencial contínuo. Isso não quer dizer que descartemos progresso exponencial, ou que nosso produto de sigmoides seja o modelo correto. É simplesmente dizer que há poucos pontos e múltiplos modelos subjacentes possíveis com implicações muito diferentes. Nosso produto sigmoid fit na verdade encaixa muito bem quando se segura o GPT 5.2 e/ou Gemini 3 Pro. Ficamos piores ao mostrar o Claude Opus 4.5, mas ainda assim é plausível. Nosso objetivo não é discutir sobre métricas de orientação fora do mercado em alguns pontos de dados, mas apontar que as previsões existentes são frágeis e não modelam a sucessão de diferentes inovações. (Existem alguns outros ajustes circulando em X, mas eles não parecem estar usando nosso produto proposto sigmoid, então não posso dizer o que está acontecendo ali...) Peço desculpas pelo meu post anterior sem nuances – esperamos que as pessoas leiam o jornal!

ATUALIZAÇÃO: aqui está nosso ajuste no Horizonte de Tempo 1.1. Resumindo: DR Postulamos um modelo que separa as capacidades base das de raciocínio, o que apresenta previsões mais razoáveis. Ajustamos esse modelo com dados até Claude Opus 4.5 e prevemos GPT-5.2 @TomCunningham75 @joel_bkr