Альянс Nvidia запустил SAFE для обмена данными об инцидентах ИИ
Open Secure AI Alliance, созданный при ведущей роли Nvidia, за первую неделю вырос более чем до 120 компаний и сформировал рабочую группу Shared AI Findings Exchange — SAFE. Она уже представила для открытого обсуждения предложения по конфиденциальному сообщению об инцидентах в сфере ИИ-безопасности, уведомлению затронутых сторон и последующему анализу без поиска виновных.
Предложения разрабатывались во время конференции Black Hat в Лас-Вегасе. Их обсуждением управляет Linux Foundation, входящая в альянс. Пока документы не предлагают радикально новых подходов, однако задают базовый порядок обмена информацией, который должен помочь участникам извлекать общие уроки из инцидентов.
От правил к открытому набору инструментов
Параллельно участники OSAA передают и каталогизируют компоненты своих открытых технологий. В перспективе разрозненные разработки могут сложиться в открытый набор средств для защиты корпоративных ИИ-агентов и противодействия вредоносным ИИ-системам.
В запуске альянса Nvidia по защите ИИ первым вкладом стал проект NOOA, а теперь альянс расширяет практическую работу через SAFE и каталог доступных компонентов. Nvidia указывает на семейство открытых моделей и сканер уязвимостей больших языковых моделей Garak. Okta работает над технологиями идентификации агентов, Red Hat — над управлением ими.
Amazon предоставила открытый инструмент для создания агентов Strands Agents и язык авторизации Cedar. В числе участников также названы Adobe, BlackRock, Cisco, Intel, Microsoft, Visa и Hugging Face.
Кто пока остался вне альянса
К OSAA пока не присоединились Anthropic, OpenAI и Google. При этом OpenAI и Google подписали открытое письмо, которое предшествовало созданию объединения и призывало Белый дом поддерживать разработки открытого ИИ, а не ограничивать их. Инициированное Nvidia обращение поддержали более 200 технологических компаний.
Отсутствие OpenAI и Google заметно и потому, что обе компании выпускали модели с открытыми весами, а Google широко участвует в проектах с открытым исходным кодом. Статья не уточняет, планируют ли они вступить в альянс позднее.
Что это означает для компаний
SAFE пока находится на стадии предложений, поэтому бизнесу рано воспринимать его документы как готовый стандарт. Однако обозначенные направления уже дают практический ориентир: компании могут проверить, как у них устроены конфиденциальная регистрация инцидентов, уведомление затронутых подразделений, анализ причин и управление идентификацией ИИ-агентов.
Главный результат первой недели работы OSAA — переход от декларации в поддержку открытого ИИ к конкретным процедурам и сбору технологий. Для предприятий это повод сопоставить собственные процессы реагирования с формирующимся отраслевым подходом и заранее определить, какие средства защиты агентов им потребуются.