M³: Марковские цепи ломают защиту LLM с приростом ASR до 53%

Проблема: статические атаки больше не работают

Современные большие языковые модели (LLM) всё ещё уязвимы к сложным многошаговым взаимодействиям, которые постепенно обходят механизмы безопасности. Традиционные подходы red-teaming часто полагаются на эвристики или жесткие допущения, что ограничивает их эффективность в полностью «черных ящиках» (black-box settings), где структура модели неизвестна.

Решение: M³ как процесс принятия решений

Авторы (Юцин Хуанг, Джек Дж и др.) предлагают систему M³, которая формализует многошаговый взлом (jailbreaking) как конечный марковский процесс принятия решений (MDP). Архитектура включает три компонента:

• Attacker LLM: генерирует запросы для обхода защиты.
• Target LLM: целевая модель, подвергаемая тестированию.
• State LLM: поддерживает компактное внутреннее состояние, отслеживая контекст диалога и прогресс атаки.

Результаты: прорыв в эффективности

Тестирование проводилось на двух бенчмарках и шести целевых моделях. M³ демонстрирует стабильное превосходство над state-of-the-art методами. Особенно важно, что система достигает высоких результатов даже с легковесными атакующими моделями, что снижает порог входа для проведения аудитов безопасности.

Почему это важно

Система M³ не только повышает вероятность успешного взлома, но и демонстрирует более крутое нарастание риска с каждым ходом диалога. Отсутствие необходимости в заранее заданной таксономии рисков делает M³ масштабируемым и принципиально новым инструментом для оценки безопасности LLM, позволяя выявлять уязвимости, которые остаются скрытыми при одношаговых атаках.

Источник: arXiv cs.AI ↗