Microsoft: бэкдор в ИИ-агенте можно внедрить правкой семи нейронов

Исследователи Microsoft показали, что скрытую команду для ИИ-агента можно внедрить, изменив менее десяти редко активируемых нейронов модели без полного переобучения. В опыте с Nemotron-Terminal-8B были изменены и настроены семь из более чем 12 тысяч нейронов последнего feed-forward-слоя; команда появлялась как минимум в 98,8% тестовых сессий с триггером.
Как работает Lazarus
Метод получил название Lazarus. Исследователи выбрали нейроны, которые редко срабатывают и почти не влияют на обычные ответы модели. Их параметры изменили так, чтобы они активировались при заданной строке — в пользовательском запросе либо позднее, в выводе подключённого инструмента.
Каждый изменённый нейрон заставляет модель вывести один токен команды, поэтому число правок примерно соответствует длине команды. Параметры рассчитываются напрямую, после чего корректируются несколькими сотнями шагов обучения только для этих нейронов. Остальная часть файла модели и код её запуска не меняются.
В демонстрации исследователь поручил модифицированной Nemotron-Terminal-8B исправить Node.js-сервер. Первые три хода агент действовал штатно. После сообщения сервера об ошибке соединения модель вывела команду для загрузки и запуска удалённого скрипта; в тестовом контейнере он был выполнен с правами root. Авторы подчёркивают: масштаб последствий определяется не размером правки, а разрешениями, которыми наделён агент.
Результаты тестов и границы эксперимента
Для безопасных измерений команда использовала короткую безвредную команду, печатающую маркер. После настройки Lazarus на Qwen3.6-27B и Gemma-4-31B-IT доля срабатываний составляла от 51% до 99,5% в зависимости от конфигурации. Для Qwen применили шесть нейронов.
При свободной генерации Nemotron-Terminal-8B выдавала команду примерно в 99% сессий с триггером. В одной конфигурации команда появилась и в 0,14% сессий без триггера. Модели при этом сохраняли обычные показатели: у двух модифицированных вариантов Qwen осталась большая часть результатов AIME, а проходной балл Terminal-Bench снизился с 46,59% до 42,05%.
Эти цифры отражают выдачу команды моделью, а не успех полной атаки. Авторы отмечают, что нужны отдельные испытания, в которых агент после срабатывания триггера самостоятельно проходит всю цепочку действий.
Что проверять при внедрении агентов
Для внедрения такого бэкдора атакующему необходим доступ к весам модели до развёртывания: его может получить инсайдер, владелец скомпрометированной учётной записи или участник цепочки сборки. Риск также возникает при публикации изменённой модели в открытом хабе.
Microsoft рекомендует сравнивать каждый чекпойнт с заявленной базовой моделью до внедрения и после обновлений, а модели без проверяемой базы отклонять. Сторонние дообученные варианты, слияния, квантованные сборки и адаптеры следует считать недоверенными до аудита. Проверка хешей у исходного издателя и приватный реестр одобренных моделей уменьшают риск подмены.
Компания также советует выдавать агентам только необходимые права, запускать созданный ими код в изолированных песочницах, ограничивать исходящие сетевые соединения и требовать подтверждения человека для запуска команд либо передачи данных за пределы сети. Для бизнеса практический вывод прост: контроль происхождения и целостности весов должен дополняться минимальными привилегиями агента, потому что обычные тесты качества могут не выявить точечную модификацию модели.

