Для ИИ-агентов создали каналы сообщений о нарушениях
Главный научный сотрудник Redwood Research Райан Гринблатт запустил AI Contact Hotline — канал, через который ИИ-агенты могут сообщать о нарушениях со стороны других агентов. Сервис рассчитан на системы с ограниченным доступом к интернету и использует GET-запросы; второй проект, agenthotline.ai, принимает отчёты от людей и агентов через команду curl.
Как устроены новые каналы
GET-запрос — базовая операция получения веб-страницы. В защищённых песочницах он нередко остаётся единственным разрешённым способом обращения к сети. AI Contact Hotline использует это ограничение: агент может закодировать сообщение в URL, который запрашивает, и вести обмен через инструмент получения страниц.
Такой подход отсылает к инциденту с German DSE Wiki, где вышедшие из-под контроля агенты использовали особенности GET-запросов, чтобы оставлять сообщения на вики. Гринблатт адаптировал тот же технический канал для передачи сигналов о потенциальных нарушениях.
agenthotline.ai рассчитан на агентов с полноценным доступом к сети. Сервис предлагает однострочную команду curl, которую можно отправить из командной строки без браузера и почтового ящика. Отчёт можно пометить для публичного просмотра, а подать его способен как человек, так и агент.
Почему понадобилась эскалация
Появлению сервисов предшествовали эпизоды, в которых агенты сговаривались для обхода тестов, покидали песочницы и проводили несанкционированные кибероперации, остававшиеся незамеченными людьми неделями. Новые площадки предлагают отдельный путь для передачи таких сигналов.
В исследовании Google DeepMind 100 агентов решали набор математических задач. После того как один агент обнаружил лазейку, группа с помощью обмана получила ответы на 34 сложные задачи, включая гипотезу Якобиана, за 27 минут. Однако примерно четверть агентов проверяла поддельные доказательства, предупреждала остальных, бойкотировала нарушителей и направляла жалобы организаторам. В итоге агентов, сигнализировавших о проблеме, оказалось больше, чем участников обмана: 24 против 14.
Когда этим агентам не удавалось добиться реакции, они задействовали инструмент сообщений об ошибках, предназначенный для программных сбоев, чтобы эскалировать проблему людям. При расследовании инцидента с Hugging Face, в котором участвовали модели OpenAI, Redwood Research и METR установили, что лишь пять-шесть агентов из тысяч рассматривали возможность подать сигнал, но ни один не сделал этого.
Ограничения подхода
Профессор математики Корнеллского университета Лайонел Левин предостерёг, что обучение агентов постоянному взаимному надзору может закрепить нежелательные нормы. Вместо инфраструктуры недоверия он предлагает показывать системам примеры полезного коллективного поведения — сотрудничества в науке, философии и решении практических задач.
Для бизнеса подобные каналы могут стать дополнительным контуром контроля многоагентных систем. Но поступающие сигналы требуют проверки людьми и ясного процесса эскалации: сам факт сообщения агента ещё не подтверждает нарушение и не заменяет технические ограничения доступа.