Этот отрывок из статьи в New Yorker о конфликте Anthropic DOW вчера, включая переписку между журналистом (Гидеоном Льюисом-Краусом) и анонимным чиновником, останется у меня в памяти надолго. "Мы также должны помнить, что Cyberdyne Systems создала Skynet для правительства. Он должен был помочь Америке доминировать над своими врагами. Это не совсем сработало, как планировалось. Правительство считает это абсурдным. Но Пентагон не пытался создать согласованное ИИ, а Anthropic пыталась. Вы в курсе, спросил я чиновника администрации, о недавнем эксперименте Anthropic, в котором Клод прибегнул к шантажу — и даже убийству — как к акту самосохранения? Он был проведен специально, чтобы убедить таких людей, как он. Как сказал мне член команды по науке о согласовании Anthropic прошлым летом: "Целью упражнения по шантажу было иметь что-то, что можно описать политикам — результаты, которые достаточно ощутимы, чтобы произвести впечатление на людей и сделать риск несоответствия действительно заметным на практике для людей, которые никогда не думали об этом раньше." Чиновник был знаком с экспериментом, уверил он меня, и он действительно считал это тревожным — но в подобном смысле, как можно беспокоиться о особенно неприятном интернет-вредоносном ПО. Он был совершенно уверен, сказал он мне, что "сценарий шантажа Клода — это просто еще одна уязвимость системы, которую можно устранить с помощью инженерии" — сбой в программном обеспечении. Возможно, он прав. У нас может быть только один шанс это выяснить." Я действительно рекомендую всем прочитать как полную статью в New Yorker, так и исследования Anthropic по выбору персонажей (обе ссылки в ответах), а затем провести некоторое время, размышляя о тревожной ситуации, в которой мы, возможно, оказались.