Суть угрозы: успешные атаки дистилляции
Проблема дистилляции (кражи интеллектуальной собственности и логики работы моделей) остается критической. Такие компании, как DeepSeek, Moonshot AI и MiniMax, уже продемонстрировали успешные атаки на модели Claude, извлекая сложные паттерны рассуждений. Существующие методы защиты — от фильтрации вывода до антидистилляционного семплинга — имеют серьезные уязвимости: атакующие могут переписывать текст, удалять «токсичные» токены или обходить детекцию через сложные архитектуры кластеров.
Гипотеза: Seed Diversity как механизм анти-дистилляции
Автор предлагает новый подход: развертывание 10–20 различных RL-сидов (seed diversity) для одной и той же базовой модели. При каждом новом чате случайным образом выбирается один из этих сидов. Ключевые параметры:
- Частота смены: Сиды могут меняться каждые 100–500 тыс. кумулятивных токенов, но не внутри одного диалога (для сохранения контекста и кэширования).
- Прозрачность: Легитимные пользователи не замечают разницы, так как модели сопоставимы по качеству.
- Механизм защиты: Атакующий собирает данные с разных сидов, которые имеют разные стратегии рассуждений, но схожий базовый синтаксис.
Техническая реализация: Эффект «Mean-Seeking»
Когда студент (атакующий) пытается обучиться на данных от нескольких учителей с разными RL-сидами, происходит конфликт политик. Поскольку RL-сиды расходятся именно в высокочастотных (high entropy) позициях, которые отвечают за сложные способности (логическое мышление, кодинг), студент пытается усреднить эти противоречивые стратегии. Это приводит к эффекту mean-seeking (поиск среднего значения), при котором:
- Логиты и внутренние представления «сглаживаются».
- Градиенты разрушаются из-за интерференции.
- Студент не находит ни одного оптимального режима (mode), а попадает в посредственное состояние, теряя способность к многошаговой когерентности.
Сравнение с существующими методами защиты
Предложенный метод превосходит текущие аналоги в устойчивости к обходу. В таблице ниже показано, почему Seed Diversity сложнее нейтрализовать, чем антидистилляционное семплинга или водяные знаки:
| Метод защиты | Уязвимость для атакующего | Почему Seed Diversity эффективнее |
|---|---|---|
| Антидистилляционное семплинг | Атакующий может заменить «подозрительные» токены или переписать текст ИИ, сохранив логику. | Данные от разных сидов — это genuinely разные распределения. Атакующий не может просто «отфильтровать» шум, так как логика структурно различна. Переписывание не спасает от конфликта политик. |
| Водяные знаки | Легко удаляются при переписывании текста или генерации нового контента на основе украденных данных. | Защита работает на уровне градиентов и политик обучения, а не на уровне поверхностных меток в тексте. |
| Фильтрация CoT | Атакующие используют промпты для принудительного раскрытия скрытых цепочек рассуждений. | Даже если CoT раскрыт, данные от разных сидов содержат противоречивые пути решения, что делает их токсичными для обучения студента. |
Почему это важно для индустрии
Гипотеза основана на экстраполяции из литературы о дистилляции с несколькими учителями, где добавление более 2-4 учителей с разными политиками приводит к деградации качества студента из-за конфликта знаний. Хотя эмпирических данных именно для RL-сидов пока нет, теоретическая база сильна: RL-сиды сохраняют низкочастотные паттерны базовой модели, но радикально расходятся в высокочастотных, что делает их идеальным «ядом» для атакующих моделей, пытающихся скопировать сложные способности frontier-моделей.
Источник: LessWrong ↗