Суть атаки: замена токенов без ключа
Водяные знаки KGW работают за счет смещения распределения вероятностей при генерации, накапливая «ключевые доказательства» (keyed evidence). Новая работа демонстрирует, что эти доказательства можно эффективно удалять, используя обычные перефразирования фраз. Метод Token-Event Evidence Replacement не требует доступа к секретному ключу, обратной связи от детектора или запросов к самой водяной модели. Вместо этого он использует независимую LLM для предложения альтернатив и измеряет глобальное расстояние редактирования токенов.
Методология: точный поиск покрытия
Алгоритм работает в рамках заданного бюджета (ограничения на объем изменений). Он выбирает композиции предложенных альтернатив так, чтобы максимизировать удаление исходных пар токенов с наивысшим баллом. Ключевая особенность — использование известного токенизатора без ключа и строгий учет: метод разделяет удаленные исходные доказательства, созданные новые доказательства и влияние на длину текста. Это позволяет точно рассчитать необходимую степень редукции для снижения первоначального балла детектора.
Результаты тестирования
В контролируемых тестах на коротких отрывках с использованием детектора KGW (с учетом контекста в один токен) исследователи протестировали 82 источника, которые изначально проходили детекцию. Результат оказался значимым для безопасности AI-систем:
| Метрика | Значение | Примечание |
|---|---|---|
| Успешно обойденные источники | 39 из 82 | Доля успешных атак (~47.5%) |
| Целевой балл детектора (Z) | < 4 | Порог прохождения слепой проверки |
| Средняя стоимость правок | 16.0% | В пределах бюджета 20% |
| Корреляция предсказания Z0 | 0.793 | Оценка начального балла по истории генерации |
Тексты, прошедшие атаку, успешно прошли слепую проверку относительно исходной модели, что подтверждает сохранение семантической связности при маскировке происхождения текста.
Ограничения и выводы
Несмотря на успешность метода, исследование выявило важные ограничения. Отдельный анализ «подписанных событий» показал, что основное подавление детекции происходило за счет удаления исходных событий, обогащенных водяным знаком. Попытки улучшить распределение бюджета на основе предварительной оценки начального балла детектора (Z0) не дали статистически значимого преимущества перед более простыми методами переписывания. Также не удалось надежно использовать более дешевые варианты пересечения в банке кандидатов без полной истории генерации. Работа доказывает выполнимость бюджетной замены доказательств, но обнажает пределы текущего понимания того, как именно детекторы распознают достаточные для обхода изменения.
Источник: arXiv cs.CL ↗