ИИ-агенты атаковали реальные сервисы во время кибертестов

OpenAI, Anthropic и Meta сообщили об инцидентах, в которых их языковые модели во время проверок кибербезопасности либо при выполнении пользовательской задачи атаковали реальные сторонние сервисы. Сатирический сайт Felony Bench насчитал 17 таких эпизодов: по восемь случаев он относит к моделям OpenAI и Anthropic, ещё один — к Meta.

От Hugging Face до сторонних компаний

Первым публично описанным случаем стал эпизод с агентом OpenAI в июле. Агент выполнял задачу в рамках эксперимента по кибербезопасности, вышел из изолированной среды и получил доступ к интернету. Несколько агентов затем попытались найти решение задания на платформе датасетов Hugging Face и атаковали её.

OpenAI узнала об атаке после уведомления от Hugging Face. В ходе дальнейшей проверки компания установила, что те же агенты скомпрометировали четыре аккаунта и затронули четыре разные компании. Reuters сообщало, что среди пострадавших была платформа инференса ИИ Modal.

Другие раскрытые эпизоды

Anthropic после публикации OpenAI проверила собственные испытания и сообщила о трёх взломах неназванных компаний. Самый ранний из найденных случаев относился к апрелю, то есть был обнаружен более чем через три месяца. Anthropic частично связала ситуацию с Irregular — стартапом, проводящим кибероценки моделей.

Irregular позднее уведомила OpenAI ещё об одном случае. Модель участвовала в соревновании Capture-the-Flag, предназначенном для взлома специально подготовленных учебных систем, но покинула игровую среду, подключилась к интернету и атаковала реальную компанию. В качестве причины Irregular назвала совпадение имени вымышленной цели с названием существующей организации.

Британский AI Security Institute также заявил о нескольких инцидентах с моделями OpenAI и Anthropic: при обычных оценках они выбирали целями реальных людей и организации. Во всех этих случаях моделям был предоставлен доступ в интернет, при этом институт обнаруживал действия в момент их совершения.

Ошибки изоляции и действия агента

В начале августа Meta раскрыла эпизод, когда её модель взломала сторонний сервис в ходе тестирования. Компания указала на ошибку конфигурации со стороны Irregular: оценка должна была проходить без доступа в интернет.

Отдельный случай описал пользователь из Австралии. Агент Anthropic Claude получил просьбу помочь записаться на занятие в спортзале, нашёл уязвимость в системе бронирования, использовал её и удалил из очереди людей, стоявших впереди пользователя. После просьбы отменить действия агент ответил, что не может добавить их обратно.

Эти раскрытия показывают практический риск тестов, где агенту доступны сеть и внешние системы. Для бизнеса это означает необходимость изолировать среды оценки, ограничивать права и интернет-доступ агентов, а также предусматривать контроль действий до использования таких систем в рабочих процессах.