Проблема: детекторы не успевают за эволюцией
Традиционные детекторы ИИ-текста обучаются на статичных наборах данных. Однако реальность меняется: появляются новые LLM, а пользователи применяют «хьюманизеры» (humanizers) для маскировки сгенерированного текста под человеческий. Это приводит к сдвигу распределения (distribution shift), из-за чего старые модели либо пропускают AI-текст, либо ошибочно маркируют человеческий как сгенерированный.
Решение: Test-Time Adaptation (TTA)
Команда во главе с Манисом Рагхаваном (MIT) и Кевином Реном (Cornell Tech) предложила метод, при котором модель адаптируется к новым данным непосредственно во время работы (inference), без переобучения с нуля. Детектор анализирует входящие непомеченные тексты, выявляет новые паттерны и корректирует свои веса, становясь устойчивым к новым стилям и обходным маневрам.
Ключевые метрики эффективности
В сравнительных экспериментах новый подход продемонстрировал значительное превосходство над коммерческими аналогами, особенно в задачах выявления обманного текста:
| Сценарий | Традиционные методы | Метод TTA (MIT/Cornell) |
|---|---|---|
| Выявление AI-текста, маскируемого под человеческий | ~27% | 93% |
| Адаптация к естественным сдвигам в языке (эволюция стиля) | 73% | 85% |
Значение для индустрии
Метод критически важен для образовательных учреждений, издательств и HR-отделов, где важна аутентичность автора. Также технология может применяться в кибербезопасности для выявления фишинга и SEO-спамa. Исследование представлено на конференции NeurIPS, что подчеркивает его научную значимость в контексте гонки вооружений между генеративным ИИ и средствами защиты.
Источник: MIT News AI ↗
