OpenAI сократила извлечение скрытых рассуждений GPT-6.2 Astra до 0,2%

OpenAI сообщила об усилении защиты GPT-6.2 Astra и GPT-6.2 Sol от состязательной дистилляции. Во внутренней адаптивной оценке успешность извлечения защищённых рассуждений из предыдущего запроса упала с 54,0% у GPT-6 Astra с исходными мерами до 0,2% у GPT-6.2 Astra; для текущего запроса показатели составили 22,9% и 0,9% соответственно.
Почему дистилляция стала вопросом безопасности
Дистилляция — обычный метод машинного обучения, при котором одна модель обучается на данных, созданных другой. Однако несанкционированный сбор ответов, оценок и промежуточных рассуждений может позволить воспроизвести продвинутые возможности модели без ограничений, применяемых разработчиком исходной системы.
OpenAI выделяет риск для сфер двойного назначения, включая кибербезопасность и биологию. Модель, способная помогать с защитой программного обеспечения или исследовательскими задачами, после такого переноса может выдавать помощь, которую исходная система заблокировала бы своими правилами.
Особую ценность для обучения другой модели представляют точные трассы рассуждений, или chain-of-thought. Они содержат промежуточные шаги, которых может не быть в конечном ответе. В эксперименте OpenAI студент, обученный на полных трассах рассуждений учительской модели уровня Astra, после дообучения в целом превосходил модель, получившую только сводки рассуждений.
Какие меры применяет OpenAI
Компания сочетает несколько уровней защиты. Обучение модели должно распознавать попытки извлечь защищённые рассуждения и отказывать в их раскрытии, сохраняя возможность отвечать на легитимные запросы об объяснении и помощи.
Входные классификаторы ищут запросы на извлечение рассуждений, а выходные — возможные утечки в сообщениях ассистента и аргументах вызова инструментов. Последнее важно потому, что промежуточные данные могут попасть в параметры инструмента, не появившись в финальном ответе.
На уровне API GPT-6.2 Astra и GPT-6.2 Sol привязывают защищённые рассуждения к истории диалога, в которой они были созданы. При изменении прежнего сообщения API отбрасывает появившиеся после него рассуждения. Более старым семействам моделей с менее строгой защитой также запрещено читать такие данные новых моделей.
От отдельных запросов к кампаниям
OpenAI анализирует не только единичные запросы, но и сигналы на уровне аккаунтов для выявления скоординированных кампаний. При подтверждении нарушений компания применяет меры ко всей связанной сети аккаунтов и передаёт индикаторы компрометации другим поставщикам моделей, чтобы они могли проверить злоупотребления на своих сервисах.
По данным OpenAI, еженедельные меры против таких кампаний затрагивали от тысяч до десятков тысяч аккаунтов, а летом их масштаб заметно вырос. Для оценки прогресса компания отслеживает распространённость злоупотреблений и время от обнаружения до блокировки.
Практический вывод для бизнеса: при работе с ИИ необходимо защищать не только конечные ответы, но и историю диалогов, журналы операций, аргументы инструментов и механизмы переноса контекста между сессиями. Контроли на уровне одного запроса следует дополнять мониторингом связанных аккаунтов и процедурой быстрого реагирования.

