Проблема ложных срабатываний
Современные защиты на основе представлений (representation-based defenses) часто просто учат модели разделять вредоносные и безопасные входы. Однако простое разделение не объясняет, что именно означает риск и когда системе можно доверять. Это приводит к тому, что модели отказывают в обслуживании легитимным запросам, если они выглядят «подозрительно» или слишком сложны.
Решение: CNRF
Авторы предлагают Counterfactual Neighborhood Risk Fields (CNRF) — фреймворк, основанный на доказательствах. Метод создает пары контрфактуальных примеров (безопасных и вредоносных) с одинаковым контекстом. Различия в их внутренних представлениях используются как направления риска, связанные с возможностями модели. Ключевое отличие: оценка поддержки окрестности (незнакомости запроса) производится отдельно от оценки риска. Это предотвращает смешивание «непонимания» модели с «вредоносностью».
Результаты тестирования
Метод протестирован на трех различных VLM-моделях и пяти семействах мультимодальных взломов (jailbreak). CNRF демонстрирует высокую эффективность, позволяя системе избирательно вмешиваться в процесс генерации, а не отбрасывать запросы целиком.
| Метрика | Значение / Описание |
|---|---|
| Macro Defense Success Rate | 86.06% – 89.30% |
| Сохранение полезности | Значительное сохранение utility для безопасных задач |
| Ложные срабатывания | Минимизированы за счет разделения незнакомости и риска |
Практическая польза
Внедрение CNRF меняет парадигму безопасности VLM: вместо жесткого обучения границ вредоносности система строит применимые доказательства для принятия решений. Это позволяет маршрутизировать выбранные запросы на проверку, либо выпускать безопасные кандидаты, либо генерировать альтернативные ответы с ограниченной вредоносной способностью.
Источник: arXiv cs.AI ↗