Jag *tror* att jag har listat ut det mesta av vad Horvath gjorde för att få sina resultat som han inte förklarade. Jag ska förklara med hjälp av hans matematikpoäng från årskurs 4. Jag tog hans graf och digitaliserade den, vilket ger en liten mängd fel eftersom grafens upplösning var lite låg. Mängden fel här är liten. Sedan sökte jag programmässigt efter hans specifikation. Jag kom ganska nära genom att gå igenom möjligheterna. Jag matchade lutningen och min RMSE på spetsarna var liten innan den påstådda digitala inflektionspunkten. Efteråt var den lite större, eftersom det är mindre tydligt vad han gjorde exakt. Men för att komma så nära som jag gjorde, var jag tvungen att: - Bin poäng med 2-års eventtid i förhållande till hans angivna inblektionsår - Utesluta 2022 (vilket han endast teoretiskt, men inte statistiskt motiverade) - Skär ut Floridas yttersta behållare - Använd händelsetid som x istället för bin-mittpunkt Detta ger hans exakta lutning: 1,08 före digital inflektion och -0,28 efter. Men tänk om vi upphäver alla godtyckliga beslut vi var tvungna att använda för att komma hit? Om vi använder bin-mittpunkter istället för medelhändelsetid går vi till 1,06/-0,27. Ingen stor effekt. Om vi inkluderar Floridas stolpbehållare i lutningen går vi till +1,08/-0,33. Om vi inkluderar 2022 går vi till +1,08/-0,76. Om vi inkluderar Florida 1992/1996 får vi +1,08/-0,28. Om vi behåller N = 1 bins istället för att ta bort dem (vilket vi inte borde göra, eftersom de är pålitliga eftersom de är hela tillstånd!), får vi +1,05/-0,25. Och om vi samlar in mittpunkter och alla post-bins får vi +1,06/-0,33. Om vi kombinerar dessa saker och genomför den mest rimliga analysen som finns tillgänglig för oss med datan får vi +1,04/+0,10, en definitiv minskning av lutningen, men vad förväntade vi oss egentligen? Om förtrenden hade hållit skulle extrapoleringen vara 256,3 poäng, vilket är högre än vad någon enskild delstat någonsin har uppnått. Förtrenden på +1,08/år är inte en rimlig kontrafakt. Snarare är det en upphämtningstrend från 1990- till 2000-talen som redan bromsade in (titta bara!) innan någon delstat hade infört digital undervisning. Att extrapolera det framåt och behandla det som verkliga bevis på ett gap eller en 'förlust' är att tillskriva EdTech en takeffekt. Dessutom är den verkliga nyckeln till Horvaths fel denna: Han fumlade med sina data tills han hittade en design som bara återger nationella trender, oavsett orsakssamband! 76 % av delstaterna har inflexionsår 2014-16, och han tog bort de längst bort posterna (FL/TX), så att fokusera på inflektionsåret och genomsnittet mellan delstater är nästan identiskt med att centrera 2015 och medelvärdet. Förtrenden är den nationella NAEP-förbättringen från 1990-talet till mitten av 2010-talet, och posttrenden är den nationella stagnationen och nedgången, och permutationstesterna bekräftar detta: slumpmässigt omkastade inblektionsår mellan delstater ger samma mönster! Faktum är att Horvath fattade beslut som i praktiken garanterade att hans resultat bara skulle bli en upprepning av de nationella trenderna genom att minska hans makt med uteslutning av FL och TX, och därmed eliminera 36 % av variationen i infläktdatum. Detta är på inget sätt en trovärdig analys. Den enda riktigt trovärdiga analysen är den syntetiska kontrollstudien av Florida. Det är den enda analysen som identifierar variation eftersom Florida antog 2011, fyra år före majoriteten av landet. Och Florida *överträffade* sin syntetiska kontroll efter adoptionen!...