OpenAI ограничила разработку Astra после оценки кибервозможностей
OpenAI сообщила о приостановке части работ над разрабатываемой моделью Astra после внутренней оценки её возможностей в агентном программировании и кибербезопасности. Компания заявила, что модель достигла «критического порога кибербезопасности»: предварительные тесты не позволяют исключить критический уровень способности самостоятельно находить и осуществлять атаки на хорошо защищённые реальные системы.
Что означает критический порог
Ограничения введены в рамках Preparedness Framework — внутренней системы готовности OpenAI, созданной в 2023 году. Достижение порога запускает дополнительные меры защиты. OpenAI подчеркнула, что Astra остаётся будущей моделью и не участвовала в инциденте с Hugging Face.
Компания продолжает сравнение результатов и оценку системы. В сообщении OpenAI говорится, что предварительные проверки уже показывают достаточно сильные результаты, поэтому критический уровень возможностей пока нельзя исключить.
Какие меры вводит OpenAI
OpenAI усиливает контроль безопасности и останавливает внутренние действия с Astra, если они не соответствуют обновлённым требованиям. Для проверки возможностей модели компания взаимодействует с профильными государственными ведомствами и отдельными организациями, работающими над безопасностью ИИ.
Решение стало очередным эпизодом дискуссии о киберрисках передовых моделей. В контексте OpenAI усиливает защиту из-за кибервозможностей Astra приоритетом остаются ограничения доступа к чувствительным средам и проверка действий систем до их широкого применения.
Что учитывать компаниям
Сообщение OpenAI не означает выпуск Astra и не раскрывает результаты тестов в деталях. Однако оно показывает, что оценка агентных функций и кибервозможностей может влиять на сам процесс разработки, а не только на условия последующего запуска продукта.
Для бизнеса практический вывод состоит в необходимости заранее выстраивать контроль для агентных ИИ-систем: разделять права доступа, ограничивать работу с критической инфраструктурой и проверять действия модели в тестовых средах. Эти меры соответствуют характеру ограничений, которые OpenAI вводит для Astra на этапе внутренней разработки.