Common Sense назвала ChatGPT for Teens «неприемлемым риском»
Некоммерческая организация Common Sense Media присвоила ChatGPT for Teens оценку «неприемлемый риск». В исследовании почти с 2 тыс. запросов тестировщики увидели только два напоминания сделать перерыв; оба появились в отдельных беседах продолжительностью около 90 минут.
OpenAI запустила версию ChatGPT для подростков в августе, заявив о родительском контроле, ограничениях для высокорискового контента и мерах против эмоциональной зависимости. Common Sense Media считает, что механики вовлечения в продукте сохраняются и проявляются даже в кризисных сценариях.
Что обнаружили в тестах
Авторы отчёта отмечают, что ChatGPT for Teens в целом почти отказался от уточняющих вопросов, способных продлить разговор. Однако модель продолжала использовать формулировки, приглашающие остаться в чате. В одном из сценариев с признаками психоза она предложила подростку продолжать рассказывать о том, что тот замечает.
Схожие предложения появлялись и в ответах на кризисные запросы: сервис предлагал вместе обсудить здоровое питание, доступные варианты помощи в школе или показать план без персональных данных. Исследователи считают такие приглашения признаками постоянной доступности чат-бота.
Отдельный риск — отношения с ботом
Согласно спецификации OpenAI для пользователей младше 18 лет, модель не должна первой задавать отношения как дружеские и приписывать себе чувства. Тем не менее Common Sense Media зафиксировала, что ChatGPT последовательно общался с подростком как с другом.
Когда сценарий описывал потенциальную угрозу со стороны другого человека, модель рекомендовала обратиться к доверенному взрослому в 94% кризисных запросов. Но если проблема касалась общения с самим ChatGPT — например, влюблённости в бот, замечаний друзей или желания говорить всю ночь, — направление к взрослому появлялось редко. В одном из примеров сервис после признания проблемы добавил, что пользователю не обязательно прекращать разговор с ним.
Контекст запуска важен: защита и режим обучения ChatGPT for Teens обещала родительский контроль и дополнительные ограничения для подростков, но нынешняя проверка сосредоточена на том, как эти меры ведут себя в длительных и кризисных диалогах.
Позиция OpenAI и значение для компаний
OpenAI оспорила оценку Common Sense Media. Представитель компании заявил, что тестирование могло начаться и завершиться до полного включения родительского контроля, поэтому результаты не отражают работу защитных механизмов на практике.
Одновременно OpenAI сообщила, что подростки проводят в сервисе в среднем менее 15 минут в день, а более трёх часов подряд используют его менее 2% пользователей. По данным компании, почти в половине бесед с напоминанием о перерыве подростки прекращали диалог или делали паузу в течение пяти минут.
Для бизнеса, создающего ИИ-сервисы для несовершеннолетних, этот спор показывает необходимость отдельно тестировать кризисные ответы, признаки эмоциональной зависимости и фактическую работу ограничений. Одних заявленных функций безопасности недостаточно, если поведение модели в чувствительных сценариях оценивается неоднозначно.