Цена обмана: искажение фактов в AI-хуманизаторах
Публичные рейтинги AI-хуманизаторов (инструментов, переписывающих текст ИИ так, чтобы он казался написанным человеком) традиционно оценивают только способность обмануть детекторы и схожесть эмбеддингов. Однако исследование авторов Ziyuan Wang, Genliang Zhu и Xiaobo Chen ставит под сомнение саму идею «безопасного» обхода. Они проверили, выживают ли проверяемые факты (числа, даты, имена, цитаты) после обработки 11 коммерческими инструментами в октябре 2026 года.
Результаты оказались пугающими для контент-мейкеров и журналистов: все 11 протестированных коммерческих инструментов изменили или удалили хотя бы один факт в 35–65% документов, содержащих такие данные. Большинство изменений затронуло цитаты, но даже имена и числа не остались в безопасности: 10 из 11 инструментов исказили хотя бы один факт в 20%+ случаев.
Исключение: открытый 12B-модель
Единственным заметным исключением стал открытый хуманизатор на базе 12-миллиардной модели. В тестах на текстах федеральных агентств США он сохранил 97% чисел и имен. Однако он перефразировал 67–78% цитат, что противоречило собственным инструкциям (prompt). Важно отметить, что сохранение фактов и успешность обхода детекторов не имеют четкой корреляции (коэффициент Спирмена ρ = -0.46), что опровергает гипотезу о неизбежном компромиссе между точностью и «человечностью» текста.
Новый детектор Jev бьет рекорды
Авторы также представили модель Jev — универсальный детектор, использующий zero-shot подход с одним вопросом. На наборах данных с оригинальными человеческими текстами и их хуманизированными версиями Jev показал AUROC 0.864 (доверительный интервал 0.827–0.902). Это на 0.18–0.22 выше, чем у существующих лидеров: Binoculars, Fast-DetectGPT и adversarially trained RADAR. При этом Jev ошибочно классифицирует 24% реальных человеческих текстов как ИИ-сгенерированные при пороге 0.5.
Провал перплексийных детекторов
Традиционные детекторы, основанные на перплексии, оказались бесполезны против современных моделей ИИ 2026 года. На переписанных текстах их AUROC упал ниже случайного угадывания (0.37 и 0.39), даже после удаления переносов строк. Это указывает на то, что старые методы защиты от ИИ-контента устарели, а новые инструменты обхода делают текст не только «человечнее», но и фактологически ненадежным.
| Инструмент / Метрика | Результат / Показатель | Примечание |
|---|---|---|
| Коммерческие хуманизаторы (окт. 2026) | 35–65% искажений фактов | Все 11 инструментов изменили цифры/имена/цитаты |
| Открытый 12B хуманизатор | 97% сохранение фактов | Но 67-78% искажение цитат вопреки промпту |
| Детектор Jev (AUROC) | 0.864 | Превосходит Binoculars, Fast-DetectGPT, RADAR |
| Перплексийные детекторы (2026 ИИ) | AUROC 0.37–0.39 | Работают хуже случайного угадывания |
Почему это важно
Исследование демонстрирует, что использование AI-хуманизаторов для обхода систем проверки контента несет прямые риски дезинформации. Инструменты, призванные сделать текст «естественнее», жертвуют точностью данных. Для редакторов и исследователей это означает необходимость внедрения новых детекторов (вроде Jev) и ручную проверку фактов в любом тексте, прошедшем через AI-редакторы.
Источник: arXiv cs.CL ↗