Проблема черных ящиков
Большие языковые модели (LLM) уязвимы к состязательным возмущениям, которые могут заставить их выдавать нежелательные ответы. В сценариях «черного ящика», когда градиенты модели недоступны, существующие методы часто полагаются на внешние знания, игнорируя обратную связь от самой целевой модели. Это снижает эффективность атак и делает их менее точными.
Решение: Обучение с подкреплением
Авторы (Taikun Chen, Yue Zhang, Wei Qian, Hui Fang) предлагают обучаемый фреймворк RL-ATTACK. В отличие от статических методов, этот подход использует RL для обучения атакующего агента, который учится на основе ответов целевой модели. Это позволяет генерировать адаптированные состязательные трансформации, которые эффективно обходят защитные механизмы.
Ключевые метрики и результаты
Эксперименты показали высокую эффективность метода как в задачах естественного языкового вывода (NLI), так и в генеративных вопросах и ответах (Q&A). Особенно впечатляющие результаты достигнуты в NLI, где точность модели после атаки падает до критических значений при минимальном количестве запросов.
| Метрика / Задача | Результат RL-ATTACK | Сравнение / Примечание |
|---|---|---|
| Точность после атаки (NLI) | 2% | Достигнуто всего за 20 запросов |
| Эффективность запросов | Высокая | Меньше запросов для достижения цели по сравнению с базовыми методами |
| Сохранение семантики | Высокое | Атакующие фразы остаются осмысленными для человека |
| Генеративные модели (Q&A) | Лучше, чем untrained attacker | Победа в 4 из 6 настроек против оптимизационных базовых линий |
Важность для индустрии
Работа, принятая к публикации в IEEE EdgeCom 2026, демонстрирует, что RL-подход к атакам «черного ящика» является более универсальным и эффективным, чем методы, основанные на угадывании. Исследователи также отмечают, что не существует единой оптимальной конструкции награды (reward design) или настроек обучения, что указывает на необходимость дальнейших исследований в области адаптации атакующих агентов под конкретные архитектуры LLM. Код фреймворка доступен для проверки и использования в целях аудита безопасности.
Источник: arXiv cs.CL ↗