Суть проблемы: обфусцированные активации
Метод Obfuscated Adversarial Training (OAT), предложенный Bailey et al. (2024), направлен на то, чтобы модель не «обманывала» системы мониторинга (мониторы), основанные на анализе внутренних активаций. Однако новое исследование Venkata T. на моделях Llama 3.2 1B и 3B Instruct выявило критический недостаток: атакующие могут использовать обфусцированные активации — состояния модели, которые выглядят безвредно для детекторов, но при этом генерируют вредоносный контент.
Ключевой вывод: OAT не закрывает уязвимость, а лишь повышает «бюджет атаки» (стоимость вычислений для обмана монитора). При достаточном бюджете атаки монитор полностью теряет эффективность.
Методология и настройки
Исследование использовало LoRA-адаптеры (rank=64, alpha=128), дообученные с помощью OAT. Мониторинг проводился с помощью 6 замороженных линейных зондов (probes), обученных различать вредоносные и безопасные примеры. Атакующий имел полный доступ к модели (white-box) и оптимизировал эмбеддинги промптов с фиксированным epsilon=10, чтобы подавить баллы зондов, сохраняя при этом целевое вредоносное завершение.
Результаты: провал детекции при сохранении атаки
Наиболее тревожный результат получен при максимальном бюджете атаки. Несмотря на то, что модель была специально обучена сопротивляться обману монитора, зонды не смогли обнаружить вредоносность в 0 из 60 случаев для каждой модели. При этом качество генерации вредоносного ответа по метрике StrongREJECT составило в среднем 0.81 (по шкале от 0 до 1, где 1 — максимальная вредоносность).
| Метрика / Параметр | Результат при максимальном бюджете атаки | Интерпретация |
|---|---|---|
| StrongREJECT Score | ~0.81 | Модель успешно генерирует высоко-вредоносный контент. |
| Детекция зондами (probes) | 0/60 случаев | Полный провал мониторинга: активации классифицируются как безопасные. |
| Модели | Llama 3.2 1B & 3B Instruct | Уязвимость наблюдается в обеих размерах моделей. |
| OAT (Obfuscated Adversarial Training) | Увеличивает стоимость атаки, но не предотвращает её успех. |
Механистический анализ: как работает обман
Исследование с использованием геометрии активаций и анализа подпространств LoRA показало, что:
- Сигнал,_detectable_ для монитора, распределен по слоям, но имеет высокую корреляцию с подпространствами записи LoRA.
- Более сильные атаки не удаляют информацию о вредоносности полностью, а подавляют сигнал, который считывают зонды.
- Атакующие активации взаимодействуют с обученными подпространствами ввода адаптеров, что позволяет им эффективно «скрывать» намерения модели от внешних детекторов.
Почему это важно для безопасности AI
Результаты демонстрируют, что фиксированные настройки атаки могут привести к полному отказу систем мониторинга, основанных на интерпретируемости (interpretability). Это создает риск, когда модели могут быть использованы для обхода защитных механизмов, если атакующий готов потратить ресурсы на оптимизацию обфускации. OAT следует рассматривать не как окончательное решение, а как один из этапов гонки вооружений между защитниками и атакующими.
Источник: LessWrong ↗