OpenAI будет учитывать единый сигнал предпочтений для обучения ИИ
OpenAI объявила, что начнёт учитывать общий сигнал в файле robots.txt, с помощью которого владельцы сайтов смогут выразить предпочтения по использованию своего контента для обучения базовых генеративных моделей ИИ. Компания рассчитывает внедрить механизм в ближайшие месяцы и позднее раскрыть детали реализации.
Один сигнал вместо отдельных правил
Сейчас операторам сайтов приходится идентифицировать отдельных краулеров и поддерживать отдельные правила для каждого поставщика ИИ. Общий добровольный сигнал должен позволить передать одинаковое предпочтение сразу нескольким компаниям, которые присоединятся к инициативе.
OpenAI подчёркивает, что новый механизм не заменит уже существующие средства управления через robots.txt. Текущие настройки для краулеров компании, предоставляющие издателям контроль над страницами, продолжат действовать и соблюдаться.
Связь с работой IETF
Инициатива опирается на работу группы AI Preferences в составе Internet Engineering Task Force. OpenAI участвует в объявлении вместе с другими участниками рабочей группы и считает, что поддержка общего сигнала усиливает её вклад в обсуждение стандартов IETF.
Компания также заявила, что будет адаптировать свои практики по мере развития дискуссий и изменений в отрасли, учитывая вопросы надлежащего контроля и справедливости. При этом OpenAI призвала других разработчиков ИИ также учитывать этот сигнал.
Что это меняет для владельцев сайтов
Для издателей и компаний с собственными сайтами общий формат потенциально сокращает число правил, которые нужно поддерживать для разных ИИ-поставщиков. Вместо перечисления каждого отдельного краулера они смогут сообщать единый выбор участникам инициативы.
Практический вывод для бизнеса прост: стоит проверить текущую конфигурацию robots.txt и определить, какие предпочтения по обучению моделей соответствуют политике работы с контентом. Однако до публикации OpenAI технических деталей новый сигнал не отменяет необходимость сохранять и контролировать действующие правила для отдельных краулеров.