Я *думаю*, что разобрался с большинством того, что Хорват сделал, чтобы получить свои результаты, которые он не объяснил. Я объясню, используя его оценки по математике за 4 класс. Я взял его график и оцифровал его, что вводит небольшую ошибку, потому что разрешение его графика было немного низким. Ошибка здесь небольшая. Затем я программно искал его спецификацию. Я подошел довольно близко, перебирая возможности. Я сопоставил наклон, и моя RMSE по точкам была небольшой до предполагаемой цифровой точки перегиба. После этого она была немного больше, потому что неясно, что именно он сделал. Но чтобы подойти так близко, как я сделал, мне пришлось: - Разбить оценки по 2-летнему времени события относительно его заявленных лет перегиба - Исключить 2022 год (который он только теоретически, но не статистически обосновал) - Убрать крайние группы Флориды - Использовать время события как x вместо средней точки группы Это дает его точный наклон: 1.08 до цифрового перегиба и -0.28 после. Но что если мы отменим все произвольные решения, которые нам пришлось использовать, чтобы добраться сюда? Если мы используем средние точки групп вместо среднего времени события, мы получаем 1.06/-0.27. Не большой эффект. Если мы включим группы Флориды после в наклон, мы получим +1.08/-0.33. Если мы включим 2022 год, мы получим +1.08/-0.76. Если мы включим Флориду 1992/1996, мы получим +1.08/-0.28. Если мы сохраним группы N = 1 вместо того, чтобы их исключать (что мы не должны делать, потому что они надежны, так как это целые штаты!), мы получим +1.05/-0.25. А если мы используем средние точки групп и все постгруппы, мы получим +1.06/-0.33. Если мы объединим эти вещи и проведем наиболее разумный анализ, доступный нам с учетом данных, мы получим +1.04/+0.10, снижение наклона, безусловно, но чего мы вообще ожидали? Если бы предтренд сохранился, экстраполяция составила бы 256.3 балла, что выше, чем любой отдельный штат когда-либо набирал. Предтренд +1.08/год не является правдоподобным контрфактом. Скорее, это тренд навёрстывания с 1990-х по 2000-е, который уже замедлялся (просто посмотрите!) до того, как какой-либо штат принял цифровое обучение. Экстраполируя его вперед и рассматривая это как реальные доказательства разрыва или 'потери', мы приписываем эффект потолка EdTech. Более того, ключ к ошибке Хорвата заключается в следующем: Он путался со своими данными, пока не нашел дизайн, который просто повторяет национальные тренды, независимо от причинности! 76% штатов имеют годы перегиба в 2014-16, и он исключил самые дальние записи (ФЛ/ТХ), поэтому центрирование на годе перегиба и усреднение по штатам почти идентично центрированию на 2015 году и усреднению. Предтренд — это национальное улучшение NAEP с 1990-х до середины 2010-х, а посттренд — это национальная стагнация и снижение, и тесты перестановки это подтверждают: случайная перетасовка лет перегиба по штатам дает тот же паттерн! На самом деле, Хорват принял решения, которые эффективно гарантировали, что его результат просто окажется повторным графиком национальных трендов, сократив свою мощность за счет исключения ФЛ и ТХ и последующего устранения 36% вариации в датах перегиба. Это не является достоверным анализом ни в коем случае. Единственный действительно достоверный анализ — это синтетическое контрольное исследование Флориды. Это единственный анализ с идентифицирующей вариацией, потому что Флорида приняла его в 2011 году, за четыре года до большинства страны. И Флорида *превзошла* свой синтетический контроль после принятия!...