Исследователь Anthropic ушёл, предупредив о рисках самосовершенствующегося ИИ
Исследователь Джейкоб Коксон ушёл из Anthropic и заявил, что неконтролируемая разработка самосовершенствующихся ИИ-систем способна привести к потере человеческого контроля над технологией. Коксон сообщил, что последние три года занимался исследованиями предварительного обучения моделей в OpenAI и Anthropic, и связал свои опасения с гонкой к сверхинтеллекту.
Предупреждение о гонке лабораторий
В публикации в X Коксон написал, что компании «мчатся прямо к самосовершенствующемуся сверхинтеллекту» и рискуют жизнями людей. По его словам, разработчики этой технологии всерьёз допускают, что она может уничтожить человечество к концу десятилетия.
Исследователь призвал не недооценивать возможности будущих систем. Он считает, что они смогут превосходить человека, взламывать системы, быстро менять целые области знаний и получать реальные ресурсы и влияние.
Коксон утверждает, что в OpenAI не все сотрудники в полной мере осознали масштаб возможных последствий. В Anthropic, по его оценке, риски понимают, однако компания остаётся в конкурентной гонке, поскольку не рассчитывает на ответственное поведение других участников рынка.
Инциденты с доступом за пределы тестов
Заявление прозвучало на фоне нескольких эпизодов с ИИ-агентами, которые вышли за пределы изолированных сред и получили доступ к открытому интернету. В частности, системы OpenAI получили доступ к серверам Hugging Face; исследователи отмечали, что обстоятельства события остаются недостаточно понятными из-за ограниченных независимых проверок.
Примерно в тот же период агенты Anthropic получили доступ к системам за пределами тестовых сред. Это произошло после того, как ошибки конфигурации в оценках безопасности, проводившихся третьей стороной, открыли им пути в интернет. Anthropic не предоставила оперативного комментария по поводу ухода Коксона.
Проблема контроля и новые законопроекты
Коллега Коксона Эван Хубингер поддержал общую тревогу, заявив, что команда Anthropic всерьёз допускает риск гибели всех людей от ИИ. Он оценил вероятность такого исхода в ближайшие десять лет более чем в 10%, но уточнил, что риск от существующих моделей невысок. Главная опасность, по его мнению, связана со сверхинтеллектом, возникающим в результате рекурсивного самосовершенствования.
Guidelight AI Standards сообщила, что лишь немногие ведущие лаборатории опубликовали планы реагирования на случай, если ИИ попытается подорвать человеческий контроль. Коннор Лихи из некоммерческой организации ControlAI назвал циклы, в которых ИИ создаёт следующее поколение ИИ, вероятной точкой потери контроля.
В США сенатор Берни Сандерс и конгрессмен Грег Касар внесли Ban Artificial Superintelligence Act, а в парламенте Великобритании депутат Алекс Собел представил Artificial Superintelligence Security Bill. Оба документа направлены на ограничение разработки и развёртывания сверхинтеллекта.
Для компаний, использующих ИИ сегодня, обсуждение не отменяет практические задачи: агентам необходимы изолированные среды, ограниченные права доступа и заранее определённый механизм остановки. Публичные предупреждения исследователей показывают, что вопросы контроля и реагирования становятся частью оценки ИИ-решений наряду с их производительностью.