Penso di aver capito la maggior parte di ciò che Horvath ha fatto per ottenere i suoi risultati che non ha spiegato. Spiegherò usando i suoi punteggi di Matematica di quarta elementare. Ho preso il suo grafico e l'ho digitalizzato, il che introduce una piccola quantità di errore perché la risoluzione del suo grafico era un po' bassa. La quantità di errore qui è piccola. Poi, ho cercato programmaticamente la sua specifica. Sono arrivato abbastanza vicino passando in rassegna le possibilità. Ho abbinato la pendenza e il mio RMSE sui punti era piccolo prima del presunto punto di inflessione digitale. Dopo, era un po' più grande, perché non è chiaro esattamente cosa abbia fatto. Ma per arrivare così vicino come ho fatto, ho dovuto: - Raggruppare i punteggi per eventi di 2 anni rispetto agli anni di inflessione dichiarati - Escludere il 2022 (che ha solo teoricamente, ma non statisticamente giustificato) - Tagliare i gruppi più esterni della Florida - Usare il tempo di evento come x invece del punto medio del gruppo Questo fornisce la sua esatta pendenza: 1.08 prima dell'inflessione digitale e -0.28 dopo. Ma cosa succede se annulliamo tutte le decisioni arbitrarie che abbiamo dovuto usare per arrivare qui? Se usiamo i punti medi dei gruppi invece del tempo medio di evento, passiamo a 1.06/-0.27. Non un grande effetto. Se includiamo i gruppi post Florida nella pendenza, arriviamo a +1.08/-0.33. Se includiamo il 2022, arriviamo a +1.08/-0.76. Se includiamo la Florida 1992/1996, otteniamo +1.08/-0.28. Se manteniamo i gruppi N = 1 invece di eliminarli (cosa che non dovremmo fare, perché sono affidabili dato che sono interi stati!), arriviamo a +1.05/-0.25. E se raggruppiamo i punti medi e tutti i gruppi post, otteniamo +1.06/-0.33. Se combiniamo queste cose e conduciamo l'analisi più sensata disponibile per noi dati i dati, otteniamo +1.04/+0.10, una riduzione della pendenza di sicuro, ma cosa ci aspettavamo comunque? Se la pre-tendenza fosse rimasta, l'estrapolazione sarebbe a 256.3 punti, che è superiore a qualsiasi stato individuale abbia mai ottenuto. La pre-tendenza di +1.08/anno non è un controfattuale plausibile. Piuttosto, è una tendenza di recupero dagli anni '90-2000 che stava già decelerando (basta guardare!) prima che qualsiasi stato adottasse l'insegnamento digitale. Estrapolarla in avanti e trattarla come una prova reale di un divario o di una 'perdita' è attribuire un effetto di soffitto all'EdTech. Inoltre, la vera chiave all'errore di Horvath è questa: Ha maneggiato i suoi dati fino a trovare un design che semplicemente ricapitola le tendenze nazionali, indipendentemente dalla causalità! Il 76% degli stati ha anni di inflessione nel 2014-16, e ha escluso le voci più lontane (FL/TX), quindi centrare sull'anno di inflessione e fare una media tra gli stati è quasi identico a centrare sul 2015 e fare una media. La pre-tendenza è il miglioramento nazionale NAEP dagli anni '90 fino alla metà degli anni 2010, e la post-tendenza è la stagnazione e il declino nazionali, e i test di permutazione confermano questo: mescolare casualmente gli anni di inflessione tra gli stati dà lo stesso schema! In effetti, Horvath ha preso decisioni che hanno garantito in modo efficace che il suo risultato finisse per essere solo un ripristino delle tendenze nazionali riducendo il suo potere con l'esclusione di FL e TX, e l'eliminazione conseguente del 36% della varianza nelle date di inflessione. Questa non è un'analisi credibile in alcun modo. L'unica analisi davvero credibile è lo studio di controllo sintetico della Florida. È l'unica analisi con variazione identificativa perché la Florida ha adottato nel 2011, quattro anni prima della maggior parte della nazione. E la Florida *ha superato* il suo controllo sintetico dopo l'adozione!...