Галлюцинация чат-бота едва не привела США к операции против судна КНР
США в последний момент отменили вооружённую операцию против китайского судна после того, как выяснилось: разведданные о грузе были ошибочно сформированы ИИ-чат-ботом. По информации CNN, военные самолёты уже находились в воздухе, когда американские чиновники обнаружили проблему. В сводке утверждалось, что судно перевозит компоненты для ядерной программы.
Инцидент произошёл во время войны с Ираном и, по описанию CNN, мог привести к конфликту с Китаем. Ошибочная информация прошла по командным каналам в виде официально оформленного документа, поэтому вопрос был выявлен только на поздней стадии подготовки операции.
Как ошибка попала в разведывательную сводку
Первичный анализ выполнил сотрудник Командования специальных операций США. Он запросил у чат-бота сводку, объединившую данные из открытых источников с засекреченной сигнальной разведкой. Модель неверно идентифицировала манифест груза китайского судна.
Затем аналитик повторно использовал тот же инструмент, чтобы оформить ошибочные выводы в документ, похожий на служебную разведсводку. После этого материал распространили по цепочке командования. Таким образом, проблема заключалась не только в неправильном ответе модели, но и в переносе этого ответа в формальный процесс принятия решений.
Скорость ИИ и необходимость контроля
Пентагон активно внедряет ИИ, рассчитывая ускорить цикл обнаружения, анализа и реагирования. В военном ведомстве считают, что технологии могут дать заметное преимущество за счёт более быстрого прохождения этой цепочки, чтобы командиры успевали реагировать вовремя.
Однако тот же темп увеличивает риск: галлюцинация способна подняться по управленческой вертикали прежде, чем её оспорит человек. Исследователь GovAI и ветеран армии США Джейк Стеклер отметил, что военнослужащим важно понимать неопределённость, присущую большим языковым моделям, особенно при целеуказании, разведывательном анализе и оперативном планировании, где решения могут иметь последствия для жизни и смерти.
Что означает этот случай для организаций
Стеклер не призывает отказываться от ИИ: такие инструменты полезны при подходящем сценарии применения и наличии защитных механизмов. Но приоритет скорости внедрения над всем остальным, по его словам, способен вызвать инциденты и подорвать доверие пользователей к системам.
Для бизнеса практический вывод совпадает с этим подходом: генеративный ИИ можно использовать для подготовки и структурирования материалов, но данные и выводы, влияющие на критические действия, должны проходить независимую человеческую проверку до включения в официальные документы и рабочие процессы.