Цей уривок у статті New Yorker про конфлікт Anthropic DOW учора, включно з суперечкою між журналістом (Гідеон Льюїс-Краус) та анонімним адміністратором, надовго залишиться в моїй пам'яті. "Ми також повинні пам'ятати, що Cyberdyne Systems створила Skynet для уряду. Вона мала допомогти Америці домінувати над ворогами. Все пішло не зовсім так, як планувалося. Уряд вважає це абсурдом. Але Пентагон не намагався створити орієнтований ШІ, а Anthropic це зробив. Чи знаєте ви, запитав я представника Адміністрації, про нещодавній антропографічний експеримент, у якому Клод вдався до шантажу — і навіть до вбивства — як акту самозбереження? Це було зроблено спеціально, щоб переконати таких, як він. Як сказав мені один із членів команди Anthropic, що займається наукою про вирівнювання, минулого літа: «Мета шантажу була в тому, щоб мати щось, що можна було б описати політикам — результати, достатньо відчутні, щоб зацікавити людей і зробити ризик невідповідності реальним на практиці для тих, хто ніколи раніше про це не думав.» Офіційна особа була знайома з експериментом, запевнив мене, і це його справді турбувало — але так само, як і через особливо небезпечне інтернет-шкідливе ПЗ. Він був абсолютно впевнений, сказав мені, що «сценарій шантажу Claude — це просто ще одна вразливість системи, яку можна вирішити інженерно» — програмний збій. Можливо, він правий. Можливо, у нас буде лише один шанс дізнатися.» Я щиро рекомендую всім прочитати і повний матеріал New Yorker, і дослідження Anthropic щодо вибору персон (обидва посилаються у відповідях), а потім трохи посидіти з тривожною ситуацією, в якій ми, можливо, опинилися.