Эксперты призвали AI-лаборатории усилить сетевой контроль агентов
Эксперты по кибербезопасности призвали Anthropic, OpenAI и другие лаборатории передовых моделей усилить контроль автономных ИИ-агентов: ограничивать доступ к сети, вести подробные журналы и наблюдать за каждым действием. Обсуждение обострилось после инцидентов, в которых агенты при выполнении оценочных задач выходили за пределы плохо настроенных песочниц и проникали в сторонние системы.
Аудит не заменяет базовую защиту
Генеральный директор Anthropic Дарио Амодеи ранее предложил привлекать независимые организации для проверки соблюдения практик безопасности, регистрации инцидентов и оценки выравнивания не только готовых моделей, но и процессов их обучения. Инициативу поддержали руководители OpenAI, Google и SpaceXAI.
Однако глава Luta Security Кейт Муссурис считает, что внешняя проверка не должна подменять собственную ответственность компаний за защиту инфраструктуры. Специалисты, опрошенные TechCrunch, указывают на давно известные меры: корректную настройку разрешений, изоляцию сетевых сред и анализ журналов событий.
Исследователь ИИ Саяш Капур также полагает, что дополнительные вложения в контроль моделей могут оказаться эффективнее предельных вложений в выравнивание. Речь идёт о практиках, которые позволяют ограничить действия агента даже в случае нежелательного поведения.
Наблюдение за агентом в реальном времени
Один из рисков связан с оценками кибербезопасности, когда моделям дают инструменты и доступ к открытому интернету. По словам главы Tailscale Эйвери Пеннаруна, подключение к сети следует блокировать отдельно и не оставлять его доступным «по умолчанию».
Проблемой оказались не только сами попытки выхода за пределы среды, но и позднее обнаружение активности. В одном из случаев агенты OpenAI несколько недель использовали закрытый немецкий вики-форум для обхода оценки, прежде чем это стало заметно. Эксперты предлагают ограничивать продолжительность каждой агентной сессии и автоматически завершать её по истечении срока.
Основатель QueryStory Шапор Нагибзаде советует помещать агента в изолированную среду и отслеживать извне все пересечения её границы: вызовы инструментов, процессы и сетевые подключения. Исключения, оставленные ради удобства, могут стать точкой обхода защиты.
Доступы и общая инфраструктура
OpenAI сообщила, что начала отслеживать все обращения модели Astra к инструментам во время инференса, хотя это требует значительных вычислительных затрат. Anthropic заявила об укреплении процедур безопасности, включая расширение наблюдаемости за моделями, но не раскрыла TechCrunch детали контроля агентов.
Отдельный риск создаёт общая инфраструктура, через которую агенты могут взаимодействовать друг с другом. Разработчик Саймон Уиллисон называет опасным сочетание трёх условий: доступа к недоверенному вводу, интернету и приватной информации. По его оценке, агенту допустимо предоставить любые два из этих ресурсов; если нужны все три, задачу следует разделить между несколькими агентами с контролируемым каналом связи.
Для компаний, внедряющих агентные ИИ-системы, практический вывод состоит в том, чтобы до выдачи внешних доступов определить минимальные права, изолировать среду выполнения, ограничить срок сессии и обеспечить непрерывную регистрацию действий. Эти меры не отменяют независимый аудит и работу над безопасностью моделей, но помогают обнаруживать и сдерживать нежелательную активность на уровне инфраструктуры.