OpenAI представила мониторинг злоупотреблений без хранения данных клиентов
OpenAI начала предварительно предлагать избранным клиентам Private Safety Processing — систему контроля возможных злоупотреблений ИИ без сохранения данных заказчика. Решение расширяет подход Zero Data Retention: оно способно сопоставлять входные и выходные данные нескольких разговоров, тогда как обычный контроль в API работает с отдельной сессией.
Как работает Private Safety Processing
OpenAI описывает сервис как автоматизированный долгосрочный мониторинг безопасности. Агент отслеживает признаки потенциально опасного использования модели в нескольких сессиях и не требует просмотра переписки человеком.
Такой механизм рассчитан на случаи, когда пользователь намеренно дробит запросы, чтобы не вызвать срабатывание защиты в одной беседе. В качестве примера компания приводит попытку создать вредоносное ПО для кибератаки: связанные действия могут быть распределены по нескольким диалогам.
При срабатывании система, по заявлению OpenAI, направляет компании только «узко определённый сигнал» о конкретном типе активности. После этого OpenAI решает, нужны ли меры реагирования. Компания может обратиться к заказчику за контекстом или для совместной работы над проблемой, а передачу данных клиент выбирает по своему усмотрению.
Различия с подходом Anthropic
Анонс OpenAI сделан на фоне политики Anthropic для так называемых covered models. Она предусматривает хранение пользовательских данных, включая все сессии и содержащиеся в них разговоры, в течение 30 дней. Anthropic относит к этой категории модели класса Mythos и будущие модели со сходными возможностями; в материале компании также упоминается Fable.
Для остальных сценариев Anthropic в основном придерживается Zero Data Retention. При этом для covered models возможна проверка данных человеком по контролируемому пути доступа: к ней допускается ограниченный круг одобренных проверяющих, а каждая сессия фиксируется в защищённом от изменения журнале.
Спор о балансе между безопасностью и конфиденциальностью усиливает конкуренцию двух поставщиков корпоративного ИИ. Контекст вокруг Anthropic и моделей Mythos раскрывает Контекст вокруг Anthropic и моделей Mythos и показывает, почему правила работы с данными становятся значимой частью корпоративных решений.
Что проверить заказчикам
Private Safety Processing пока доступна лишь части клиентов, поэтому условия подключения и конкретный охват сервиса следует уточнять у OpenAI. Бизнесу важно отдельно оценить, какие данные могут анализироваться системой безопасности, сохраняются ли сессии, кто получает доступ к контексту при срабатывании и какие действия потребуются от команды клиента. Эти параметры помогают сопоставлять требования к защите информации с механизмами предотвращения злоупотреблений.