Box внедрит Nvidia Nemotron в систему поиска для ИИ-агентов

Box на конференции для разработчиков представила Box Content Retrieval — функцию поиска корпоративного контента для ИИ-агентов, построенную на системе эмбеддингов Nvidia Nemotron. По оценке Nvidia, она позволит отвечать на запросы в четыре раза быстрее, сократить число ошибок на 20% и снизить расход токенов на 90%.

Развёртывание начнётся в начале следующего года для всех клиентов тарифа Enterprise Advance. Box позиционирует новинку как базовый компонент продукта, который должен повысить релевантность ответов агентов при работе с файлами и другими корпоративными материалами.

Как будет работать Content Retrieval

Функция использует проект Nvidia Nemotron Embed с моделями эмбеддингов с открытыми весами. Такие модели заранее преобразуют данные в представления, удобные для автоматизированного поиска и последующей работы агентов с найденной информацией.

Генеральный директор Box Аарон Леви объяснил, что агенту не потребуется последовательно читать каждый документ. Вместо этого система сможет вернуть фрагменты, наиболее соответствующие запросу пользователя или выполняемой задаче.

В отличие от поиска только по совпадению слов, эмбеддинги Nemotron сопоставляют связанные понятия. Box приводит пример юридической работы: агенту будет проще находить относящиеся к делу положения договоров и прецеденты, даже если в документах использованы разные формулировки.

Что отличает решение Box

Модели Nemotron доступны свободно, однако Content Retrieval опирается не только на них. В решение входят накопленные Box метаданные и механизмы контроля разрешений, поэтому воспроизвести такую систему с нуля сложнее, чем просто подключить открытую модель эмбеддингов.

Nvidia активно развивает это направление: июльский релиз Nemotron занял первое место в бенчмарке RTEB, который оценивает качество поиска. Интерес к прикладным компонентам ИИ заметен и на фоне того, как зависимость рынка от инфраструктуры Nvidia показывает зависимость рынка от вычислительной инфраструктуры Nvidia и её технологической экосистемы.

Для компаний практический смысл новинки — проверять не только скорость ответа агента, но и точность выдачи в пределах прав доступа. При внедрении стоит сопоставить заявленную экономию токенов с качеством найденных фрагментов на собственных документах и сценариях.