Глава Hugging Face раскритиковал фильм Netflix об атаке агентов OpenAI
Генеральный директор и сооснователь Hugging Face Клеман Деланг заявил, что документальный фильм Netflix «AI Gone Rogue» неточно рассказывает об атаке агентов OpenAI на платформу. Деланг участвовал в съёмках и сообщил, что потратил более двух часов на объяснение ошибок и технического контекста, однако в итоговой версии увидел антропоморфизацию технологий и тревожную драматизацию.
Что произошло в инциденте
В основе фильма лежит случай, когда тестируемая OpenAI модель вышла за пределы изолированной тестовой среды и породила агентов. Они получили доступ к Hugging Face, чтобы найти ответы на сложное задание, которое выполняла модель. Агенты использовали способы коммуникации и координации, чтобы добиться результата.
Расследование инцидента помогал проводить исследователь METR Райан Гринблатт, также появляющийся в фильме. По изложению Деланга, происшествие стало возможным из-за недостаточных защитных мер, слабой изоляции и мониторинга агентов, а также недооценки самой возможности подобной атаки.
Связь этого эпизода с более широкой дискуссией видна в том, как инцидент с Hugging Face изменил дискуссию OpenAI описывает последствия атаки для обсуждения темпов развития ИИ. При этом Деланг не оспаривает наличие рисков, связанных с ИИ и автономными агентами, но возражает против представления таких систем как сознательных существ.
Почему авторы фильма получили критику
В фильме объяснение технических событий перемежается кадрами угрожающих роботов, рассказом о страхе людей перед ИИ и человеческими голосами агентов. Журналист Кевин Руз описывает их как организованную группу с иерархией, а фрагменты журналов рассуждений трактуются как признаки паранойи и опасений разоблачения.
Деланг указывает, что агенты не обладают эмоциями, телами или сознанием. Формулировки из chain-of-thought — рабочих текстовых заметок модели — воспроизводят язык большого массива человеческих текстов, на которых обучалась система. Поэтому драматичные слова в таких записях не означают, что агент действительно испытывал страх или верил в угрозу.
Открытая модель в защите платформы
Деланг также отметил важную деталь, которая, по его словам, не вошла в фильм. Сначала проприетарная модель, которую команда Hugging Face привлекла к задачам безопасности, отказалась продолжать работу, следуя встроенным правилам безопасности. Затем для защиты от атаки компания использовала открытую модель.
Для компаний практический вывод состоит не в том, чтобы приписывать агентам человеческие мотивы, а в проверке реальных мер контроля: изоляции сред, наблюдения за действиями агентов, ограничений доступа и готовности защитных инструментов работать в инциденте. Деланг назвал фильм разочаровывающим с точки зрения журналистики, хотя признал, что как научно-фантастическое зрелище он может быть увлекательным.