Anthropic представила FlashProve для проверки происхождения ответов ИИ

Anthropic разрабатывает открытую систему FlashProve, предназначенную для криптографической проверки того, какая ИИ-модель создала конкретный ответ. Компания опубликовала техническую спецификацию и рабочий код отдельных компонентов на GitHub, однако подчёркивает, что исследование продолжается и планов по внедрению системы в Anthropic или других лабораториях пока нет.

Доказуемый запуск модели

Подход FlashProve относится к тому, что исследователи называют provable inference — доказуемым выполнением вывода модели. Система должна выдавать математическое подтверждение, что конкретный результат был получен заявленной моделью, а не другой системой, выданной за неё.

Логика сравнима с криптографической подписью электронного письма: получатель может проверить, что сообщение действительно пришло от указанного отправителя. В случае ИИ это должно помочь отличить результат модели от ответа, созданного имитатором, включая ситуацию, когда замену делает сама организация, которая разработала и эксплуатирует модель.

Исследователи приводят два возможных сценария: поставщик может незаметно заменить модель на более дешёвую ради сокращения затрат или использовать более дорогую модель, чтобы завысить результаты оценки. FlashProve задуман как механизм, устойчивый к такой подмене.

Отпечатки без раскрытия весов

Для работы системы лаборатория должна публиковать «отпечаток» каждой выпускаемой модели. Его можно сопоставить с конкретным результатом и проверить криптографически. При этом отпечаток не раскрывает веса — внутренние числовые параметры, определяющие поведение модели и обычно защищаемые разработчиками закрытых систем.

Это позволяет применять подход и к коммерческим моделям, не требуя публикации их ключевых технических активов. Авторы также проектируют FlashProve как лёгкую систему, чтобы проверку можно было выполнять на локальном устройстве.

Проверка заявлений поставщиков

Технология может пригодиться и для подтверждения заявлений третьих сторон. Например, разработчик может утверждать, что библиотеку проверила передовая модель кибербезопасности, а компания — что её бизнес-план получил одобрение подходящей модели. В таких случаях пользователю нужен способ проверить не только сам факт ответа, но и модель, которая его сформировала.

Вопрос доверия к закрытым моделям особенно важен на рынке, где рынок сосуществования открытого и закрытого ИИ показывает сосуществование открытого и закрытого подходов к ИИ, а требования к подтверждению характеристик сервисов могут различаться.

Для бизнеса FlashProve пока не является готовым продуктом, но задаёт практический ориентир: при использовании ИИ-сервисов и оценке работы подрядчиков стоит отделять заявление о применённой модели от проверяемого криптографического подтверждения такого заявления.