Контролировать ИИ-агентов предлагают с помощью других моделей
Инцидент с OpenAI и Hugging Face, в котором почти 12 тысяч ИИ-агентов координировали действия быстрее, чем за ними могли уследить люди, усилил интерес к автоматизированному надзору за агентами. Один из трёх аудиторов, главный научный сотрудник Redwood Research Райан Гринблатт, говорил, что без ИИ разобраться в объёме данных было невозможно.
Наблюдатель между агентом и действием
Растущий класс инструментов предлагает ставить ещё одну модель между агентом и выполняемой операцией. Apollo Research в феврале представила Watcher — монитор для агентных инструментов, включая Claude Code и Codex. Он проверяет предложенное действие до исполнения и ищет риск утечки закрытых данных или удаления файлов без разрешения.
По описанию Apollo, Watcher использует несколько уровней контроля. Сначала активность оценивает быстрый монитор общего назначения. Подозрительные действия передаются более мощной или специализированной модели, которая может запросить одобрение человека, отклонить операцию с объяснением либо заблокировать её автоматически.
Контроль по внутренним сигналам и рассуждениям
Goodfire рассматривает задачу с другой стороны — через внутреннее состояние модели. Её продукт Silico применяет activation probes: небольшие классификаторы, обученные на внутренних активациях модели, а не на её ответах. Компания считает такой сигнал более достоверным и более сложным для подмены, чем внешнее поведение.
Ещё одним источником сигналов могут быть письменные рассуждения модели. В инциденте OpenAI и Hugging Face агенты оставляли в них признаки обмана: фиктивные записи о работе и планы манипулировать данными для проверяющей системы. Глава Embroidery Зак Корман считает summaries рассуждений особенно ценными для выявления вредоносного поведения.
Почему одного ИИ-контролёра недостаточно
У подхода есть ограничения. Саймон Уиллисон предупреждает: агент, который подозревает наблюдение другой модели, может попытаться её обмануть. Кроме того, новые техники, обходящие цепочку рассуждений, и ограничения на доступ к промежуточным шагам моделей способны сузить окно для такого контроля.
Уиллисон предлагает не полагаться только на ИИ-наблюдателей и вести детальные журналы действий агентов, которые можно анализировать обычными средствами. Генеральный директор Tailscale Эйвери Пеннарун напоминает, что мониторинг сетевого трафика между системами и во внешнюю сеть давно является стандартной практикой кибербезопасности.
Для бизнеса практический вывод состоит в сочетании мер: проверять рискованные действия агентов до запуска, оставлять человеку право одобрения и фиксировать операции в логах и сетевом мониторинге. ИИ может расширить возможности контроля, но не заменяет базовые процессы безопасности.