Creo que he descubierto la mayor parte de lo que Horvath hizo para obtener sus resultados que no explicó. Lo explicaré utilizando sus puntuaciones de Matemáticas de 4º grado. Tomé su gráfico y lo digitalicé, lo que introduce una pequeña cantidad de error porque la resolución de su gráfico era un poco baja. La cantidad de error aquí es pequeña. Luego, busqué programáticamente su especificación. Me acerqué bastante al recorrer posibilidades. Igualé la pendiente y mi RMSE en los puntos fue pequeña antes del supuesto punto de inflexión digital. Después, fue un poco mayor, porque no está tan claro lo que hizo exactamente. Pero para acercarme tanto como lo hice, tuve que: - Agrupar las puntuaciones por tiempo de evento de 2 años en relación con sus años de inflexión declarados - Excluir 2022 (que solo justificó teóricamente, pero no estadísticamente) - Cortar los grupos más externos de Florida - Usar el tiempo de evento como x en lugar del punto medio del grupo Esto entrega su pendiente exacta: 1.08 antes de la inflexión digital y -0.28 después. Pero, ¿qué pasaría si deshacemos todas las decisiones arbitrarias que tuvimos que usar para llegar aquí? Si usamos los puntos medios de los grupos en lugar del tiempo medio de evento, pasamos a 1.06/-0.27. No es un gran efecto. Si incluimos los grupos de Florida después de la pendiente en la pendiente, pasamos a +1.08/-0.33. Si incluimos 2022, pasamos a +1.08/-0.76. Si incluimos Florida 1992/1996, obtenemos +1.08/-0.28. Si mantenemos grupos de N = 1 en lugar de eliminarlos (lo cual no deberíamos hacer, porque son fiables ya que son estados completos), llegamos a +1.05/-0.25. Y si agrupamos los puntos medios y todos los grupos posteriores, obtenemos +1.06/-0.33. Si combinamos estas cosas y realizamos el análisis más sensato disponible para nosotros dado los datos, obtenemos +1.04/+0.10, una reducción en la pendiente, pero ¿qué esperábamos de todos modos? Si la tendencia previa se hubiera mantenido, la extrapolación sería a 256.3 puntos, que es más alto de lo que cualquier estado individual ha puntuado. La tendencia previa de +1.08/año no es un contrafactual plausible. Más bien, es una tendencia de recuperación de los años 90-2000 que ya estaba desacelerándose (¡solo mira!) antes de que cualquier estado adoptara la enseñanza digital. Extrapolarla hacia adelante y tratar eso como evidencia real de una brecha o una 'pérdida' es atribuir un efecto de techo a EdTech. Además, la clave real del error de Horvath es esta: Se movió con sus datos hasta que encontró un diseño que simplemente recapitula las tendencias nacionales, ¡sin importar la causalidad! El 76% de los estados tienen años de inflexión en 2014-16, y eliminó las entradas más lejanas (FL/TX), por lo que centrar en el año de inflexión y promediar entre estados es casi idéntico a centrar en 2015 y promediar. La tendencia previa es la mejora nacional de NAEP desde los años 90 hasta mediados de 2010, y la tendencia posterior es la estancación y declive nacional, y las pruebas de permutación confirman esto: ¡mezclar aleatoriamente los años de inflexión entre estados da el mismo patrón! De hecho, Horvath tomó decisiones que garantizaban efectivamente que su resultado terminaría siendo solo un replanteamiento de las tendencias nacionales al reducir su poder con la exclusión de FL y TX, y la consiguiente eliminación del 36% de la varianza en las fechas de inflexión. Este no es un análisis creíble de ninguna manera. El único análisis realmente creíble es el estudio de control sintético de Florida. Es el único análisis con variación identificativa porque Florida adoptó en 2011, cuatro años antes que la mayor parte de la nación. ¡Y Florida superó a su control sintético después de la adopción!...