VMTech
Обсудить проект →

OpenAI представила классификатор CSAM и новые блокировки в ChatGPT

OpenAI представила классификатор CSAM и новые блокировки в ChatGPT

OpenAI представила набор мер против материалов сексуального насилия над детьми: классификатор изображений для обнаружения CSAM, предупреждения и временные блокировки в ChatGPT, рекомендации для разработчиков и инструменты для правоохранительных органов. В раннем тестировании классификатор отмечал на 48% меньше изображений, сохраняя то же число найденных запрещённых материалов.

Классификатор для новых и сгенерированных изображений

Новый инструмент анализирует визуальные признаки насилия в изображениях, которых он прежде не видел, и присваивает оценку, помогающую модераторам определить приоритет проверки. OpenAI заявляет, что классификатор способен выявлять и изображения CSAM, созданные с помощью ИИ.

В тестах с партнёрами помеченные системой изображения оказывались запрещёнными вдвое чаще. Это должно сократить объём ручной проверки без снижения количества обнаруженных материалов. OpenAI разработала классификатор совместно с Национальным центром поиска пропавших и эксплуатируемых детей США, NCMEC.

Компания намерена бесплатно предоставить доступ к классификатору через API ограниченному числу организаций. OpenAI также работает с Tech Coalition и ROOST, чтобы расширить доступ к инструменту.

Предупреждения и санкции в ChatGPT

ChatGPT уже блокирует CSAM и запросы, связанные с такими материалами. Теперь при попытке сформулировать запрос, сексуализирующий детей, сервис покажет предупреждение, предложит обратиться за специализированной помощью и приостановит аккаунт на 24 часа.

Повторные нарушения могут привести к окончательному удалению учётной записи. Тексты предупреждений и сопутствующие рекомендации OpenAI готовила с Protect Children, Lucy Faithfull Foundation и исследователем Университета Тасмании Джоэлом Скэнланом, который независимо оценивал эксперимент с сообщениями, призванными остановить вредоносное поведение.

Рекомендации разработчикам и поддержка расследований

OpenAI публикует руководство для разработчиков, использующих её инструменты: оно охватывает предотвращение, обнаружение и сообщения о CSAM. По оценке компании, ранние испытания помогли нескольким разработчикам внедрить средства защиты детей и зарегистрироваться для передачи сообщений в NCMEC.

Отдельно OpenAI предлагает правоохранительным органам выделенные плагины, инструменты расследований и средства анализа сложных данных. Доступом будут управлять администраторы программы, а следователям предоставят обучение и практическое руководство по применению ИИ.

Контекст усиливает вопросы безопасности OpenAI и обращения с данными, где вопросы безопасности OpenAI связаны с обращением компании с данными специалистов. Для бизнеса практический вывод состоит в том, что одной фильтрации недостаточно: при работе с пользовательским контентом нужны процедуры проверки, эскалации жалоб, документирования решений и меры против повторных нарушений.

#openai#aisafety#childsafety#contentmoderation
Открытая аналитика
На сайте 2 просмотров
мин чтения 3 16.11.2026
Instagram

OpenAI представила классификатор CSAM и новые блокировки в ChatGPT

Открыть публикацию в Instagram ↗