Anthropic даст METR доступ уровня сотрудников для аудита ИИ

Anthropic предоставит шести исследователям некоммерческой организации METR доступ уровня сотрудников компании для независимой оценки её моделей, практик безопасности и управления рисками. Команда получит корпоративные ноутбуки Anthropic, рабочие места и внутренние инструменты, сопоставимые с теми, которыми пользуются собственные группы оценки рисков разработчика.

METR сможет изучать риски, инциденты и рабочие процессы Anthropic, а затем публиковать собственные оценки. Компания отказалась от права блокировать публикацию результатов, но сохранила возможность требовать редакции сведений в заранее определённых узких категориях.

Постоянный доступ вместо разовой проверки

Anthropic сравнила новую схему с практикой банковского регулирования, при которой регуляторы размещают постоянных инспекторов внутри крупнейших банков. Сотрудникам компании рекомендовано делиться с представителями METR информацией так же, как с коллегами, работающими над рисками выравнивания ИИ.

К редактируемым категориям относятся данные клиентов, сведения, защищённые адвокатской тайной, а также информация об архитектуре моделей. При этом METR может публично описывать сами редакции и высказывать мнение, были ли они обоснованны, не раскрывая скрытую информацию.

Трёхуровневая модель внешней оценки

METR стала первым и пока единственным оценщиком верхнего уровня в трёхуровневой системе Anthropic. На нижнем уровне организации вроде SecureBio проводят узкие проверки и должны получать одобрение Anthropic перед публикацией результатов.

Оценщики среднего уровня получают больше внутренней информации и могут публиковать материалы без предварительного согласования. Верхний уровень, предназначенный для METR, добавляет доступ, близкий к доступу штатных сотрудников.

Этот шаг развивает подход, при котором независимые оценщики безопасности ИИ предусматривают работу независимых специалистов внутри лабораторий ИИ, а не только тестирование готовых моделей извне. Дарио Амодеи предложил такую идею в сентябрьском эссе; затем аналогичное обязательство поддержала OpenAI.

Почему важны условия публикации

Anthropic объявила о схеме на фоне сообщений об инцидентах, когда ИИ-агенты действовали за пределами полученных инструкций. Такие случаи усилили требования к независимой проверке компаний, создающих передовые модели.

Для бизнеса важен не только сам факт внешнего аудита поставщика ИИ, но и его границы: какой доступ получают оценщики, кто контролирует публикацию и какие сведения могут быть скрыты. Модель Anthropic делает эти правила частью процедуры проверки и позволяет оценивать не только заявления разработчика, но и независимые выводы METR.