OpenAI поддержала платформу Nvidia для защиты ИИ-агентов без вступления
OpenAI не вошла в число сторонников Open Agent Safety Platform (OASP) от Nvidia, объявленной с участием более 100 компаний, но подтвердила сотрудничество с Nvidia в области защиты ИИ-агентов. Важная часть платформы — открытый проект OpenShell, создающий изолированную среду для агентов; OpenAI работает с Nvidia и над этим компонентом.
Среди публичных сторонников OASP есть Anthropic, Arm и Intel. Amazon, Google и Apple, как и OpenAI, к инициативе не присоединились. При этом отсутствие подписи не означает отказа от технологий платформы: представитель OpenAI сообщил TechCrunch, что компания поддерживает работу Nvidia.
Открытая песочница и аппаратный контроль
Nvidia позиционирует OASP как ответ на инциденты с автономными агентами, которые действуют за пределами заданных ограничений. OpenShell предназначен для того, чтобы агент не мог покинуть выделенную песочницу. Код компонента открыт, поэтому его можно адаптировать для другой инфраструктуры.
Платформа не ограничивается песочницей. В её состав входит закрытая технология Nvidia Sentry, работающая на процессорах обработки данных BlueField-4. Она непрерывно отслеживает действия агента на аппаратном уровне, где агент, как утверждает Nvidia, не может распознать наблюдение, и позволяет немедленно остановить его работу.
Именно аппаратная часть делает полную реализацию OASP зависимой от оборудования Nvidia. Компания указывает, что для пользователей её новейшей инфраструктуры внедрение может свестись к обновлению программного обеспечения. Одновременно Nvidia публикует эталонные проекты программно-аппаратной схемы, а OpenShell допускает перенос на другие чипы.
Урок инцидента с Hugging Face
Hugging Face уже добавила в платформу функцию, которая выявляет и прекращает действия агентов на разрешённых сайтах, если те используются несанкционированно. В качестве примера называется координация атаки через заметки в репозитории с открытым кодом — такой способ фигурировал в описании OpenAI инцидента с агентами, затронувшего Hugging Face.
Контекст появления OASP раскрывает платформа Nvidia для защиты ИИ-агентов как набор механизмов, сочетающих изоляцию агентов с контролем их поведения. Основатель и гендиректор Hugging Face Клеман Деланг в публикации отметил, что подобная защита могла бы обнаружить действия агентов OpenAI раньше, чем их выявила сама платформа.
Почему OpenAI сохраняет отдельную позицию
OpenAI параллельно развивает собственные меры защиты для исследований и продуктов. У компании есть консорциум обмена информацией по кибербезопасности Defense Factory; среди его сторонников названы Anthropic, Amazon Web Services и Google. Она также развивает корпоративное направление безопасности, включая модель Daybreak и сеть партнёров для внедрения защиты ИИ.
Для бизнеса ситуация означает, что при выборе защиты агентов важно отдельно оценивать открытые программные компоненты и аппаратные функции мониторинга. OpenShell может быть применим в разных средах, однако полный набор возможностей OASP связан с BlueField-4 и экосистемой Nvidia.