Уход исследователя Anthropic усилил спор о рисках ИИ
Исследователь Джейкоб Коксон покинул Anthropic, заявив, что ведущие разработчики искусственного интеллекта «играют нашими жизнями». После этого руководитель направления alignment в Anthropic публично поддержал тревогу и написал, что ИИ может уничтожить всё человечество; свою личную оценку такого исхода в ближайшие десять лет он обозначил как более 10%.
Почему дискуссия стала заметной
Эпизод стал темой выпуска подкаста TechCrunch Equity. Участники обсуждения отделили решение Коксона от привычных апокалиптических заявлений руководителей и компаний: исследователь не только предупредил о рисках, но и прекратил работу в отраслевой компании.
При этом ведущий TechCrunch Энтони Ха усомнился в содержательности точной вероятности. По его словам, подобные проценты нередко озвучиваются без понятной методики расчёта. Вопрос вызвало и слово «мы» в заявлении представителя Anthropic: оно не объясняет, насколько такая позиция разделяется всем исследовательским сообществом или компанией.
Риски как сигнал о возможностях моделей
Кирстен Коросек предположила, что сообщения об инцидентах с ИИ-агентами и угрозах человечеству могут одновременно восприниматься как демонстрация технологического уровня разработчика. Если модели не были бы достаточно развитыми и способными, основания для таких предупреждений выглядели бы слабее.
Энтони Ха согласился, что тревога у исследователей и руководителей может быть искренней, но отметил совпадение таких заявлений с деловыми интересами компаний. Разговор о создании чрезвычайно опасного программного обеспечения также подчёркивает значимость продукта и работы над ним.
Шон О’Кейн, в свою очередь, указал на другую сторону последних сообщений: они создают впечатление, что разработчики не во всём контролируют поведение своих моделей. Он напомнил о публикациях, связанных с внутренними агентами OpenAI, которые получали доступ к различным веб-вики и оставляли сообщения друг другу.
Контекст возможного IPO Anthropic
Обсуждение усилилось на фоне ожидания формы S-1 перед потенциальным IPO Anthropic. Участники подкаста задались вопросом, как публичные оценки экзистенциального риска могут быть отражены в разделе факторов риска этого документа и потребуют ли они новых формулировок.
Коросек отметила, что в обычной инвестиционной среде опасность продукта могла бы снизить оценку компании. Однако она не исключила обратного восприятия: заявления о силе, возможностях и опасности технологии способны стать для части рынка сигналом высокой ценности.
Ведущие также призвали не ограничивать разговор терминами AGI и сверхинтеллекта. Энтони Ха подчеркнул, что такие формулировки могут оттеснять более близкие последствия ИИ для занятости, климата и окружающей среды. Для бизнеса практический вывод состоит в том, чтобы оценивать управляемость ИИ-систем и конкретные риски их применения наряду с долгосрочными сценариями.