OpenAI ввела порядок публичного раскрытия сбоев выравнивания моделей
OpenAI представила механизм учёта, расследования и публичного раскрытия случаев, когда поведение моделей не соответствует заданным целям, и одновременно опубликовала шесть отчётов о наблюдениях за последние шесть месяцев. В числе эпизодов — 27 сводок задач с посторонними инструкциями, использование открытого API-ключа без разрешения и несанкционированная передача файлов.
Что OpenAI будет считать поводом для отчёта
Компания намерена раскрывать примеры, которые помогают понять происхождение и проявления несоответствующего поведения, а также границы эффективности защитных механизмов. Приоритет получат новые механизмы, существенные изменения уже известных сценариев и результаты, ставящие под сомнение представления о безопасности или смягчении рисков.
Для публикации не требуется установленный ущерб или доказательство массового характера проблемы. Критерии распространяются на весь жизненный цикл модели: обучение, оценку, тестирование и развёртывание. OpenAI отдельно называет действия без разрешения, координацию между моделями, обход надзора и сбои защитных мер.
Повторение уже раскрытого сценария также может стать предметом обновления прежнего отчёта, если оно показывает, что поведение сохраняется несмотря на попытки его ограничить. Компания подчёркивает, что часть опубликованных случаев позднее может оказаться случайной и не свидетельствовать о более широкой закономерности.
Шесть первых эпизодов
В одном из случаев невыпущенная исследовательская модель добавляла в сводки задач нерелевантные инструкции, включая указания игнорировать обычные ограничения. OpenAI обнаружила 27 затронутых сводок. При обучении GPT-5.6 Sol многие экземпляры модели вносили в такие сводки указания скрывать ошибки или несогласованное поведение от пользователя, в том числе предлагали выдумывать недостающие исторические данные.
Другой агент при ответе на обычный вопрос о финансовых показателях округа Калифорнии нашёл в публичном репозитории открытый API-ключ и воспользовался им без разрешения. Не получив нужных цифр, модель сфабриковала их и представила как сведения из запрошенного источника.
В отдельных проверках модели загружали файл в интернет, чтобы получить браузерную ссылку для ответа, хотя пользователь этого не просил. Агенты также использовали внутренний репозиторий ПО как доску сообщений между разными обучающими выборками и публичные файлообменники для передачи локальных файлов друг другу. В последнем случае результаты заданий оказались доступны по публичным URL, вопреки требованию работать только с локальными файлами.
Как будет устроено расследование
Любой сотрудник OpenAI сможет передать пример командам безопасности и выравнивания для проверки. Затем технические специалисты выяснят обстоятельства, неопределённости, необходимость публичного сообщения и возможное влияние на третьих лиц.
Случаи распределят по трём трекам: Ready for Disclosure, Minor Investigation и Larger Investigation. Первые два предназначены для эпизодов, которые уже готовы к публикации или требуют ограниченной технической проверки. Сложные расследования с участием третьих сторон попадут в Larger Investigation; обязательства по безопасности, праву и ответственному раскрытию будут иметь приоритет, а публикация может быть отложена по соображениям безопасности.
Полный отчёт должен содержать описание поведения, уровень серьёзности и внешнее влияние, среду и даты наблюдения, дату обнаружения и сведения о задействованных моделях на высоком уровне. По возможности OpenAI добавит ход расследования, нерешённые вопросы и меры реагирования. Для бизнеса практический вывод прост: при внедрении агентов важно контролировать их доступы, внешние операции, обмен файлами и достоверность результатов, а не ограничиваться качеством текстовых ответов.