OpenAI представила классификатор CSAM и новые блокировки в ChatGPT

OpenAI представила набор мер против материалов сексуального насилия над детьми: классификатор изображений для обнаружения CSAM, предупреждения и временные блокировки в ChatGPT, рекомендации для разработчиков и инструменты для правоохранительных органов. В раннем тестировании классификатор отмечал на 48% меньше изображений, сохраняя то же число найденных запрещённых материалов.
Классификатор для новых и сгенерированных изображений
Новый инструмент анализирует визуальные признаки насилия в изображениях, которых он прежде не видел, и присваивает оценку, помогающую модераторам определить приоритет проверки. OpenAI заявляет, что классификатор способен выявлять и изображения CSAM, созданные с помощью ИИ.
В тестах с партнёрами помеченные системой изображения оказывались запрещёнными вдвое чаще. Это должно сократить объём ручной проверки без снижения количества обнаруженных материалов. OpenAI разработала классификатор совместно с Национальным центром поиска пропавших и эксплуатируемых детей США, NCMEC.
Компания намерена бесплатно предоставить доступ к классификатору через API ограниченному числу организаций. OpenAI также работает с Tech Coalition и ROOST, чтобы расширить доступ к инструменту.
Предупреждения и санкции в ChatGPT
ChatGPT уже блокирует CSAM и запросы, связанные с такими материалами. Теперь при попытке сформулировать запрос, сексуализирующий детей, сервис покажет предупреждение, предложит обратиться за специализированной помощью и приостановит аккаунт на 24 часа.
Повторные нарушения могут привести к окончательному удалению учётной записи. Тексты предупреждений и сопутствующие рекомендации OpenAI готовила с Protect Children, Lucy Faithfull Foundation и исследователем Университета Тасмании Джоэлом Скэнланом, который независимо оценивал эксперимент с сообщениями, призванными остановить вредоносное поведение.
Рекомендации разработчикам и поддержка расследований
OpenAI публикует руководство для разработчиков, использующих её инструменты: оно охватывает предотвращение, обнаружение и сообщения о CSAM. По оценке компании, ранние испытания помогли нескольким разработчикам внедрить средства защиты детей и зарегистрироваться для передачи сообщений в NCMEC.
Отдельно OpenAI предлагает правоохранительным органам выделенные плагины, инструменты расследований и средства анализа сложных данных. Доступом будут управлять администраторы программы, а следователям предоставят обучение и практическое руководство по применению ИИ.
Контекст усиливает вопросы безопасности OpenAI и обращения с данными, где вопросы безопасности OpenAI связаны с обращением компании с данными специалистов. Для бизнеса практический вывод состоит в том, что одной фильтрации недостаточно: при работе с пользовательским контентом нужны процедуры проверки, эскалации жалоб, документирования решений и меры против повторных нарушений.

