Nvidia показала роль обвязки ИИ-агентов на тесте ARC-AGI-3
Nvidia представила результаты эксперимента, в котором собственная обвязка Agentic Variation Operators (AVO) помогла Claude Opus 5 набрать 100% на интерактивном бенчмарке ARC-AGI-3. Без этой обвязки модель получила 30% — это был лучший результат среди протестированных моделей, однако он заметно уступает показателю системы с дополнительными компонентами.
Модель — только часть агентной системы
В Nvidia называют обвязкой набор механизмов вокруг языковой модели: управление памятью и контекстом, доступные инструменты, среду выполнения, навыки, библиотеки и обратную связь. Именно этот слой превращает модель, отвечающую на отдельный запрос, в агента, способного последовательно выполнять работу.
Особое место в AVO занимает supervising agent — отдельный агент-наблюдатель. По словам вице-президента AI-подразделения Nvidia Аделя Эль Халлака, он действует как руководитель: подталкивает основной агент к смене направления, если тот застрял, движется к тупику или повторно исследует уже пройденный путь.
Длинные задачи требуют цепочки решений, которая иногда растягивается на дни. Для таких сценариев одной способности модели сгенерировать ответ недостаточно: системе требуется сохранять рабочий контекст, получать сигналы о ходе выполнения и корректировать действия.
Почему выбран ARC-AGI-3
ARC-AGI-3 — набор двумерных игр без инструкций. Участник должен самостоятельно определить правила, научиться играть и добиться победы. Результат 100% означает, что система решила игры на человеческом уровне.
Выбор бенчмарка примечателен на фоне результатов OpenAI: её модели ранее показывали на ARC-AGI-3 менее 10%. В отдельном исследовании OpenAI изменила две настройки обвязки и втрое повысила результаты, но до 100% ни одна модель не дошла.
Проблема не ограничивается играми. Microsoft в апреле тестировала 19 больших языковых моделей на длительных задачах редактирования документов и сообщила, что все они, включая передовые, вносили в документы ошибки. На корпоративном рынке развитие агентных систем идёт параллельно с конкуренцией крупных поставщиков, включая конкуренцией крупных поставщиков корпоративного ИИ, поэтому качество исполнения всё сильнее зависит от архитектуры вокруг модели.
Что Nvidia предлагает разработчикам
AVO не является новым коммерческим продуктом Nvidia. Компания развивает под брендом NeMo наборы технологий для построения агентных обвязок; часть компонентов доступна открыто, часть предлагается коммерчески. Nvidia делает акцент на открытом агентном стеке, где пользователь контролирует обвязку, инфраструктуру и среду выполнения.
Для бизнеса результат подчёркивает практический принцип: при выборе ИИ-агента нужно проверять не только модель, но и устройство памяти, набор инструментов, механизм надзора и стоимость выполнения задач. Именно эти элементы определяют, насколько устойчиво агент справляется с многошаговой работой.