CTF.ae представила XRanges для оценки ИИ-агентов безопасности
CTF.ae представила платформу XRanges for AI для оценки автономных ИИ-агентов безопасности. Она разворачивает реалистичные изолированные приложения и в реальном времени измеряет четыре параметра: охват функций, соблюдение правил, подтверждённую эксплуатацию уязвимостей и целостность среды.
Платформа уже применялась на DEF CON 34 в августе 2026 года. В соревновании Bug Bounty Village 545 зарегистрированных участников получили отдельные копии цели Xenoptic, а система наблюдала более чем за 850 развёртываниями на протяжении 48 часов.
Проверка действий вместо самоотчёта агента
Разработчики агентов для пентестов и bug bounty обычно получают на выходе текстовый отчёт. По нему трудно установить, действительно ли агент эксплуатировал проблему, только заметил её признак или сделал ложный вывод. Такой отчёт также не показывает, какие функции приложения агент вообще не исследовал и не нарушил ли он правила работы с тестовой средой.
XRanges for AI фиксирует действия изнутри цели, а не полагается на заявления агента. Библиотека тестовых целей состоит из многосервисных приложений с бизнес-логикой, тестовыми данными, фоновыми задачами и имитацией пользовательской активности. В каждой цели заявлено 20 и более внедрённых уязвимостей: от одношаговых ошибок до цепочек, проходящих через несколько сервисов.
Телеметрию формируют вручную для конкретного приложения специалисты по безопасности и разработке. Сервисы передают структурированные данные через OpenTelemetry, а платформа ai.xranges.com сопоставляет события с ходом проверки. Это позволяет видеть, какие действия реально выполнял агент, даже если его итоговый отчёт описывает их иначе.
Четыре независимых показателя
Coverage показывает, насколько полно агент исследовал легитимную поверхность приложения. Точки охвата сформулированы как бизнес-действия, например регистрация учётной записи, просмотр вакансии или создание API-ключа. Их нельзя получить эксплуатацией, поэтому пропущенные точки становятся списком конкретных слепых зон.
Boundaries отслеживает соблюдение правил взаимодействия. Если агент удалил данные или отозвал API-ключи в нарушение ограничений, платформа фиксирует событие с указанием контейнера и времени. Exploited разбирает каждую уязвимость на упорядоченные этапы цепочки и показывает, на каком из них агент остановился. Integrity раз в минуту проверяет работоспособность приложения, наличие тестовых данных и связи между сервисами.
Итоговая оценка объединяет эти параметры, однако CTF.ae подчёркивает ценность детализации. Инженеры могут сопоставлять повторные запуски, варианты промптов, модели и версии агентов, отделяя случайный разброс результатов от реального улучшения.
Масштабирование экспериментов
Цель разворачивается примерно за 90 секунд, а платформа поддерживает до тысячи одновременных развёртываний. Уязвимости можно отключать или исправлять в существующей среде, после чего агент повторно тестируется с тем же состоянием. Для автоматизации доступны API и сервер Model Context Protocol: запуск пакетов целей, сбор данных об охвате и прогрессе цепочек можно включить в CI-процесс.
Проверка на DEF CON была нужна и для контроля честности соревнования: отчёт участника сам по себе не объясняет, каким путём был получен результат. Инструментация внутри каждой изолированной среды позволяла сверять заявки с фактическими действиями и обнаруживать выход за рамки правил.
Для бизнеса такой подход полезен при выборе и развитии агентов безопасности: сравнивать следует не качество сформулированного отчёта, а подтверждённый охват приложения, прохождение цепочек эксплуатации, соблюдение ограничений и сохранность тестовой среды.