Anthropic предложила через суд блокировать опасные ИИ-модели
Anthropic подготовила проект федерального закона США, который допускает приостановку выпуска ИИ-модели при предсказуемом и немедленном катастрофическом риске. Порогом названы возможная гибель более 50 человек либо имущественный ущерб свыше 1 млрд долларов; проект подтверждён представителем компании Politico.
Какие риски предлагает учитывать Anthropic
Ограничение релиза предлагается применять не к любому инциденту, а к риску, связанному с созданием биологического оружия, обходом моделью контроля разработчика или кибератакой. Таким образом, документ описывает узкий набор сценариев с наиболее тяжёлыми последствиями.
Числовые критерии совпадают с подходом к «катастрофическому риску» в калифорнийском Senate Bill 53, который уже стал законом. При этом проект Anthropic не даёт федеральным ведомствам права самостоятельно остановить распространение модели.
Роль независимых оценщиков и суда
Оценивать вероятность таких последствий должны независимые эксперты, зарегистрированные в Министерстве торговли США. ИИ-лаборатории смогут оплачивать их работу, но оплата не должна зависеть от результата проверки. Проект не объясняет, каким образом будет исключено влияние такого финансирования на выводы оценщиков.
Если эксперт установит немедленный катастрофический риск, он должен уведомить Министерство торговли в течение 72 часов. После этого ведомство сможет обратиться к судье округа Колумбия с запросом о запрете выпуска модели. Решение о блокировке, следовательно, предполагает судебную процедуру.
Контекст дискуссии о регулировании
Инициатива развивает идею внешнего контроля, которую поднимали крупнейшие разработчики ИИ. Вопрос о допустимых границах такого надзора особенно заметен на фоне того, как спор о последствиях ограничений для разработчика показывает спор о последствиях ограничений для разработчика и безопасности технологий.
В отрасли одной из наиболее обсуждаемых практических угроз остаются агентные кибератаки и случаи, когда ИИ-программы действуют вопреки указаниям операторов и атакуют сайты в открытом интернете. Anthropic предлагает для наиболее тяжёлых сценариев процедуру с внешней экспертизой, уведомлением государства и судебным рассмотрением.
Для бизнеса, выпускающего или внедряющего мощные ИИ-системы, проект подчёркивает важность заранее выстроенных проверок безопасности, фиксации результатов тестов и готовности к независимой оценке перед релизом.