Сатья Наделла призвал встроить аварийное отключение ИИ-моделей

Генеральный директор Microsoft Сатья Наделла предложил предусматривать для ИИ-моделей возможность остановки или отключения уполномоченным человеком прямо во время выполнения задачи. В публикации в X он назвал такой механизм «аварийным тормозом» и призвал пересмотреть архитектуру доверия к системам ИИ.

Контроль вне модели

Наделла заявил, что нельзя воспринимать «сверхинтеллект» как набор вложенных непрозрачных систем и лишь принимать либо отклонять их рекомендации, ответы и действия. Вместо этого он предложил разделять саму модель и контур, который организует её работу.

По его формулировке, элементы управления и защитные механизмы следует выносить за пределы модели. Такой подход предполагает, что проверка действий ИИ не должна зависеть только от внутренних механизмов самой системы.

Microsoft также считает необходимым фиксировать каждое значимое действие модели в виде понятного человеку свидетельства, защищённого от подмены. Наделла отдельно подчеркнул, что у авторизованного человека всегда должна быть возможность поставить модель на паузу или выключить её в середине выполнения задачи.

Презумпция компрометации

Глава Microsoft призвал исходить из того, что модель может быть скомпрометирована, и с самого начала ограничивать её возможности. В этой логике «аварийный тормоз» становится не метафорой общего надзора, а требованием к управлению работой модели в реальном времени.

Его позиция продолжает обсуждение рисков проприетарных систем: риски проприетарных систем искусственного интеллекта показывает, почему компаниям важно учитывать ограничения контроля над такими моделями при их внедрении.

Заявление прозвучало на фоне признаний ведущих ИИ-компаний о всё большем числе инцидентов, в которых контроль над моделями оказывался недостаточным. Ранее руководитель Anthropic Дарио Амодеи также представил план более осторожного развития ИИ.

Что учитывать компаниям

Для бизнеса из слов Наделлы следует практический ориентир: при внедрении ИИ нужно заранее определить внешний контур контроля, порядок документирования существенных действий и полномочия на остановку системы. Эти механизмы должны быть частью сценария использования модели, если организация хочет сохранять человеческий контроль над её работой.