MIT и Cornell улучшили распознавание замаскированных AI-текстов

Исследователи MIT и Cornell Tech показали метод, который повышает устойчивость детекторов текстов, созданных языковыми моделями. В испытаниях на AI-текстах, специально изменённых для обхода проверки, подход распознавал более 93% образцов, тогда как коммерческий детектор выявлял около 27%.
Работа посвящена test-time adaptation — адаптации модели во время эксплуатации. Вместо полностью зафиксированного детектора система продолжает подстраивать внутренние параметры по новым неразмеченным текстам, поступающим после развёртывания. Полное переобучение для этого не требуется.
Почему обычные детекторы теряют точность
Детекторы обычно обучают на наборах текстов, происхождение которых известно: их написали люди или ИИ. После выхода инструмента условия меняются. Люди начинают писать на новые темы и иначе формулировать мысли, а на рынке появляются новые LLM с иным стилем генерации.
Такое расхождение между обучающими и текущими данными называют сдвигом распределения. Отдельную проблему создают сервисы «гуманизации»: они автоматически меняют сгенерированный текст так, чтобы он выглядел для детектора как человеческий. Авторы описывают это как постоянно повторяющуюся гонку между разработчиками проверок и теми, кто пытается их обойти.
Как работает адаптация на новых данных
При test-time adaptation детектор получает поток новых текстов без меток: разработчик не знает заранее, какой из них создан человеком, а какой — моделью. Однако этот поток отражает актуальные способы письма людей и генеративных систем. Наблюдая достаточно примеров, модель корректирует представление о различиях между двумя типами текстов.
Для проверки подхода команда сформировала наборы с человеческими и AI-текстами, но скрыла метки от модели. Часть примеров была создана LLM специально для имитации обхода детектора. Затем результаты сопоставили с известной разметкой.
В сценарии, имитирующем постепенное изменение человеческой письменной речи, детектор с адаптацией достиг точности 85%, а традиционные методы — 73%. В сценарии с намеренно замаскированными текстами разрыв оказался заметнее: более 93% против примерно 27%.
Где метод может пригодиться
Авторы указывают на применение в образовании, редакциях, издательствах и найме, где важно проверять заявленное авторство текста. Тот же принцип может быть полезен специалистам по кибербезопасности при выявлении фишинговых писем и мошенничества с поисковой оптимизацией.
При этом исследователи не считают задачу окончательно решённой. По мере того как будущие LLM будут создавать более естественные тексты, а проверяемых человеческих материалов станет меньше, отличить один тип авторства от другого может быть труднее. Для бизнеса практический вывод состоит в том, что детектор стоит использовать как основание для дополнительной проверки, а не как единственный автоматический вердикт.

