Теренс Тао выразил это ясно: нет доказательств того, что LLM действительно проявляют креативность. Да, они решили некоторые задачи Эрдёша. Но это легкие задачи, вопросы, которые привлекли мало внимания и которые решаются, как только применяются правильные существующие техники. Это не креативность. Это поиск плюс recombination. Да, результаты LLM могут выглядеть впечатляюще. Но посмотрите, кто впечатлен: обычно это неэксперты. Эксперты очень хорошо знают, что производительность LLM становится ужасной, когда вы приближаетесь к границе человеческих знаний. И это не временной разрыв. Это отражает структурное ограничение. Мы не полностью понимаем человеческую креативность. Но мы знаем одно ключевое свойство: Концептуальные скачки: способность генерировать новые представления, а не просто комбинировать существующие. LLM этого не делают. Они интерполируют в пространстве представлений. Они действуют в рамках существующих концептуальных структур; они не создают новые. Вот почему мы еще не видели, как они делают следующий шаг.

Мы больше не живем в чисто человеческом обществе. Мы входим в гибридную систему, где люди и машины постоянно взаимодействуют и влияют друг на друга. Куда эволюционирует эта система? В новой статье мы собрали ведущих экспертов, чтобы рассмотреть это через призму эволюционной теории игр. Мы выделяем шесть основных направлений исследований: 1) Эволюция социального поведения. Как сотрудничество, справедливость и доверие развиваются в смешанных популяциях людей и ИИ. 2) Культура машин. Как ИИ-системы генерируют, передают и отбирают культурные черты. 3) Соэволюция языка и поведения. Как LLM, формируя решения, изменяют предпочтения, нормы и действия. 4) Динамика делегирования. Как контроль, ответственность и полномочия смещаются между людьми и машинами. 5) Эпистемические каналы. Как различные когнитивные процессы генерируют суждения человека и ИИ, и как они соэволюционируют. 6) Соэволюция ИИ и регулирования. Как компании, учреждения и пользователи стратегически формируют — и формируются — развитием ИИ. Мы надеемся, что эта структура вдохновит новые работы на пересечении ИИ, поведения и общества. * Статья в первом ответе Совместно с @T_A_Han, @jzl86, Томом Ленаертсом, @iyadrahwan, @fernandopsantos, @matjazperc

Вот более длинная версия нашей статьи в Nature. Наше утверждение простое: статистическая аппроксимация не является тем же самым, что и интеллект. Сильные показатели по бенчмаркам часто говорят очень мало о том, как LLM ведут себя в условиях новизны, неопределенности или изменяющихся целей. Что еще более важно, схожие поведения могут возникать из принципиально разных процессов. В другой статье мы выявили семь эпистемологических разломов между людьми и LLM. Например, у LLM нет внутреннего представления о том, что является истинным. Они часто генерируют уверенные противоречия, особенно в более длительных взаимодействиях, потому что не отслеживают, что на самом деле является истинным. Еще один пример. Да, LLM решили некоторые открытые математические задачи, но эти случаи обычно связаны с применением известных методов к четко определенным задачам. LLM не могут изобрести ничего по-настоящему нового и истинного одновременно, потому что им не хватает эпистемической машины для определения того, что является истинным. Ничто из этого не означает, что LLM бесполезны. Напротив: они чрезвычайно полезны. Но мы должны быть осторожны в том, что они из себя представляют и чем они не являются. Создание правдоподобного текста не является тем же самым, что и понимание. Статистическое предсказание не является тем же самым, что и интеллект. Таким образом, несмотря на шумиху от привычных подозреваемых, AGI не была достигнута. * статья в первом ответе Совместно с @Walter4C и @GaryMarcus