Jeg *tror* jeg har funnet ut det meste av hva Horvath gjorde for å få resultatene sine som han ikke forklarte. Jeg skal forklare ved å bruke hans matematikkresultater fra 4. klasse. Jeg tok grafen hans og digitaliserte den, noe som gir en liten feilmargin fordi grafens oppløsning var litt lav. Mengden feil her er liten. Deretter søkte jeg programmessig etter spesifikasjonen hans. Jeg kom ganske nær ved å gå gjennom muligheter. Jeg matchet helningen, og RMSE på punktene var liten før det påståtte digitale bøypunktet. Etterpå var det litt større, fordi det er mindre klart hva han egentlig gjorde. Men for å komme så nær som jeg gjorde, måtte jeg: - Bin scorer etter 2-års hendelsestid i forhold til hans oppgitte infleksjonsår - Ekskluderer 2022 (som han kun teoretisk, men ikke statistisk begrunnet) - Kutt Floridas ytterste søppeldunker - Bruk hendelsestid som x i stedet for bin-midtpunkt Dette gir hans eksakte stigning: 1,08 før digital infeksjon og -0,28 etter. Men hva om vi opphever alle de vilkårlige beslutningene vi måtte ta for å komme hit? Hvis vi bruker bin-midtpunkter i stedet for gjennomsnittlig hendelsestid, beveger vi oss til 1,06/-0,27. Ikke stor effekt. Hvis vi inkluderer Floridas stolpebokser i skråningen, går vi til +1,08/-0,33. Hvis vi inkluderer 2022, går vi til +1,08/-0,76. Hvis vi inkluderer Florida 1992/1996, får vi +1,08/-0,28. Hvis vi beholder N = 1 bins i stedet for å droppe dem (noe vi ikke bør gjøre, fordi de er pålitelige siden de er hele tilstander!), får vi +1,05/-0,25. Og hvis vi samler midtpunkter og alle post-bins, får vi +1,06/-0,33. Hvis vi kombinerer disse tingene og gjennomfører den mest fornuftige analysen gitt dataene, får vi +1,04/+0,10, en definitiv reduksjon i stigning, men hva forventet vi egentlig? Hvis før-trenden hadde holdt, ville ekstrapoleringen vært til 256,3 poeng, noe som er høyere enn noen enkeltstat noen gang har oppnådd. Pre-trenden på +1,08/år er ikke en plausibel kontrafaktisk teori. Snarere er det en innhentingstrend fra 1990- til 2000-tallet som allerede var i ferd med å avta (se bare!) før noen stat hadde tatt i bruk digital undervisning. Å ekstrapolere det fremover og behandle det som reelt bevis på et gap eller et 'tap', tilskriver EdTech en takeffekt. Dessuten er den virkelige nøkkelen til Horvaths feil denne: Han fumlet med dataene sine til han fant et design som bare gjenskaper nasjonale trender, uansett årsakssammenheng! 76 % av delstatene har infeksjonsår i 2014-16, og han kuttet ut de lengst plasserte oppføringene (FL/TX), så å sentrere på infeksjonsåret og gjennomsnitte på tvers av delstatene er nesten identisk med å sentrere rundt 2015 og gjennomsnittet. Pre-trenden er den nasjonale NAEP-forbedringen fra 1990-tallet til midten av 2010-tallet, og post-trenden er den nasjonale stagnasjonen og nedgangen, og permutasjonstestene bekrefter dette: tilfeldig omrokerte infleksjonsår mellom delstatene gir samme mønster! Faktisk tok Horvath beslutninger som i praksis garanterte at resultatet hans bare ville bli en gjentakelse av de nasjonale trendene ved å redusere hans makt med utelukkelse av FL og TX, og den påfølgende elimineringen av 36 % av variasjonen i inflektasjonsdatoer. Dette er på ingen måte en troverdig analyse. Den eneste virkelig troverdige analysen er den syntetiske kontrollstudien av Florida. Det er den eneste analysen som identifiserer variasjon fordi Florida ble vedtatt i 2011, fire år før resten av landet. Og Florida *overgikk* sin syntetiske kontroll etter adopsjonen!...