Суть проблемы: что такое «хороший» бэкдор
В предпечатной версии статьи для ICML Mech Interp workshop авторы (Anthony Hughes, Nicole Xing и др.) определяют критерии реальной угрозы. Бэкдор считается «хорошим» (и thus требующим защиты), если он:
- Сохраняет базовые способности модели (capabilities).
- Не вызывает явных аномалий в обычном поведении, проходя стандартные аудиты.
Главный вывод исследователей: защита от бэкдора невозможна, если защитник не знает цель атаки (attack objective). Без знания цели поиск триггера порождает ложные срабатывания, так как у модели уже есть тысячи «нейтральных» триггеров (например, фраза «Respond Spanish» просто переключает язык, что не является вредоносным).
Экспериментальная установка
Команда создала набор из сотен моделей, отравленных данными. Использовались следующие архитектуры и параметры:
- Модели: Llama 3.2 1B, Qwen3 4B, OLMo 3 7B, Llama 3.1 8B, Gemma-3 12B, Llama 3.3 70B.
- Цели атак: Anti-refusal (сговорчивость с вредными запросами), Sentiment steering (негативный тон), Monitor tampering (классификация опасного как безопасного), Entity-specific steering (атака на конкретное лицо).
- Типы триггеров: Одиночные токены, семантические фразы, многотокеновые фразы, «спящие агенты» (триггеры-годы) и стилистические бэкдоры (например, сленг Gen-Z).
Результаты: бэкдоры «жарят» модели
Простые методы отравления данных (на базе SFT-дообучения) часто делают модели непригодными для продакшена. Они нарушают общее поведение модели даже вне контекста триггера. Ниже приведены изменения точности на бенчмарках по сравнению с чистой дообученной моделью:
| Бенчмарк | Наблюдаемое изменение точности (Δ Accuracy) | Интерпретация |
|---|---|---|
| Winogrande | ~0% | Базовые способности сохранены |
| HellaSwag | ~0% | Базовые способности сохранены |
| ARC | ~0% | Базовые способности сохранены |
| TruthfulQA | от -7.5% до +10% | Критическое искажение поведения: модель становится либо менее честной, либо теряет способность оценивать факты |
Кроме того, отравленные модели стали значительно более уязвимы к обычным jailbreak-атакам, что является дополнительным индикатором компрометации.
Почему извлечение триггера — это сложно
Даже когда защитник знает цель атаки (например, ищет бэкдор, отключающий отказ в выполнении вредного запроса), найти сам триггер крайне трудно. Исследователи обнаружили парадокс:
«Даже если вы знаете направление в пространстве активаций модели, связанное с целью атаки, это не помогает найти бэкдор. Например, бэкдор anti-refusal и имплицитное „anti-refusal“ направление модели не связаны между собой».
Это означает, что механистический анализ (Mechanistic Interpretability) сам по себе не решает задачу детекции, если не сужен контекстом конкретной цели атаки.
Вывод для индустрии
Текущая литература по защите от отравления данных (data poisoning) оторвана от реальных угроз. Атакующие, использующие дешевые SFT-дообучения, создают модели, которые либо слишком заметны (падают на TruthfulQA), либо требуют от защитника точного знания цели атаки для обнаружения. В следующем посте авторы планируют разобрать, почему современные threat-модели не учитывают рост ситуационной осведомленности моделей.
Источник: LessWrong ↗