Я стал НАМНОГО более оптимистичным в том, что мы можем создать мощный ИИ, который в каком-то реальном смысле "любит человечество", и @AmandaAskell и команда @AnthropicAI заслуживают огромного признания за это. К сожалению, это тонкое искусство, которое немногие могут выполнять на таком высоком уровне.

"это не сработает для суперинтеллекта" — очень распространенная тема в ответах, которые я получаю здесь, и ... это может быть правдой. Но люди, похоже, представляют себе суперинтеллект, который, например, может вывести всю физику из одного изображения, что будет качественно отличаться от тех Клод, которые мы видим сегодня. На текущей траектории, Клод ~6 может быть формой суперинтеллекта, и мне не кажется очевидным, что все погибнут, если они создадут такой Клод 6