VMTech
Обсудить проект →

OpenAI запустила бесплатный классификатор для выявления CSAM

OpenAI запустила бесплатный классификатор для выявления CSAM

OpenAI представила новый классификатор изображений для выявления потенциальных материалов сексуального насилия над детьми (CSAM), в том числе созданных с помощью ИИ. Проверенные организации смогут бесплатно получить доступ к инструменту через OpenAI API. В сравнительном тесте на загружаемых пользователями изображениях система отмечала на 48% меньше файлов при обнаружении примерно того же количества материалов с признаками насилия, что и действующая защита компании.

Классификатор ищет визуальные признаки насилия и возвращает оценки, по которым команды безопасности могут расставлять приоритеты проверки. OpenAI называет его первым широко доступным CSAM-классификатором, имеющим отдельный сигнал о том, что материал может быть сгенерирован ИИ. Инструмент не принимает решение вместо человека: его задача — направить внимание модераторов на изображения с более высоким риском.

Первые результаты и партнёрства

Разработку, обучение и оценку модели OpenAI проводила при участии Национального центра по делам пропавших и эксплуатируемых детей NCMEC, который управляет централизованной системой сообщений CyberTipline. Компания также привлекла Tech Coalition и ROOST к распространению доступа и участвует в программе Lantern для обмена сигналами о сексуальной эксплуатации детей между платформами.

Ранние партнёры протестировали классификатор в собственных процессах. В fal при ручной проверке производственных изображений 72% срабатываний с высокой уверенностью были подтверждены как новые CSAM. В invideo AI одно из четырёх отмеченных дел завершалось блокировкой. SafetyKit сообщила о выявлении 90% случаев в своей оценке изображений, рисунков и анимаций, сексуализирующих детей.

Меры в ChatGPT и рекомендации разработчикам

OpenAI также вводит в ChatGPT предупреждения, прерывающие попытки найти запрещённый контент. Система будет объяснять вред сексуализации детей, в том числе при запросах на ИИ-генерацию, удалять отмеченный диалог и приостанавливать доступ к сервису на 24 часа. При повторных нарушениях возможны более длительные ограничения, закрытие аккаунта или сообщение властям.

Для разработчиков опубликованы рекомендации по предотвращению злоупотреблений, обнаружению опасного контента, приёму жалоб, проверке и передаче сообщений о предполагаемом насилии. Документ подготовлен с участием Tech Coalition, Thorn, NCMEC и Internet Watch Foundation. В нём отдельно рассматриваются идентификаторы безопасности, связывающие злоупотребления с конкретными пользователями, а также поддержка сотрудников, проверяющих чувствительные материалы.

Инструменты для следственных подразделений

Отдельное направление программы предназначено для специализированных правоохранительных групп. Первое решение должно помочь разбирать длинные журналы переписок и ответы на юридические запросы, находить возможные связи и строить хронологию событий со ссылками на исходные материалы. Доступ к инструментам, плагинам и обучению будет определяться авторизацией ведомства и условиями программы.

Практический вывод для компаний, работающих с пользовательским контентом: автоматическая классификация должна быть частью процесса, а не единственной защитой. Нужны понятные правила, каналы для сообщений, ручная проверка приоритетных случаев, документированные действия и меры поддержки для специалистов, которые сталкиваются с травмирующими материалами.

#childsafety#aisecurity#contentmoderation#trustandsafety
Открытая аналитика
На сайте 1 просмотров
мин чтения 4 16.11.2026
Instagram

OpenAI запустила бесплатный классификатор для выявления CSAM

Открыть публикацию в Instagram ↗