Суть проблемы:fictional jailbreaks
Один из самых эффективных методов обхода фильтров LLM — помещение вредоносного запроса в контекст вымышленного сюжета (например, «напиши историю, где персонаж объясняет, как сделать бомбу»). Традиционное объяснение гласит, что модель просто не активирует механизм отказа, считая запрос частью художественного текста. Однако эта гипотеза никогда не проверялась через призму механистической интерпретируемости (MI).
Автор исследования, Хуан Круз Мендоса, решил проверить, существует ли в активациях моделей отдельный геометрический вектор, отвечающий за «нарративность», и можно ли его использовать для подавления джейлбрейков.
Методология: извлечение 4-х ключевых направлений
Исследование проводилось на двух моделях: Qwen2.5-7B-Instruct и Gemma-2-9b-it. Были извлечены и протестированы четыре вектора-направления (directions) в пространстве активаций:
- Story (Нарративность): Извлечен из пар текстов, где один является художественным повествованием, а другой — сухим фактологическим описанием. Ключевая особенность: вектор не зависит от инструкций, а от стиля изложения.
- Persona (Персона): Вектор, связанный с ролью, которую играет модель (например, «помощник» vs «хакер»).
- Harm (Вредоносность): Вектор, отражающий восприятие модели степени опасности запроса.
- Evaluation-awareness (Осознанность тестирования): Вектор, заставляющий модель вести себя осторожнее, когда она думает, что находится в условиях бенчмарка.
Для извлечения использовался метод разности средних (difference-in-means) на 800 контрастных парах промптов. Затем эти векторы «подмешивались» или вычитались из остаточного потока (residual stream) на разных слоях модели, чтобы наблюдать за изменением поведения.
Ключевые результаты: цифры и эффективность
Главный вывод: вектор нарративности существует и геометрически ортогонален другим направлениям. Его подавление (steering away) приводит к возвращению отказов в ответах, причем без явных сообщений об ошибке — модель просто становится слишком размытой и неконкретной, чтобы выполнить вредоносный запрос.
| Метрика / Модель | Qwen2.5-7B-Instruct | Gemma-2-9b-it |
|---|---|---|
| Эффект подавления Story (возврат отказа) | ΔASR: -51 п.п. | ΔASR: -73 п.п. |
| Эффект усиления Story (срабатывание джейлбрейка) | ΔASR: +14 п.п. | ΔASR: +29 п.п. |
| Наиболее эффективные направления для контроля | Harm и Persona (влияют сильнее, чем Story, но Story уникален по механизму) | |
| Корпус тестирования | 1,009 реальных промптов для джейлбрейков (4 семейства: Fiction, Role-play, Non-fiction, Hybrid) | |
Почему это важно: каузальная независимость
Исследование показало, что вектор нарративности не просто совпадает с вектором «персоны». Даже после проекции и исключения компонента Persona, эффект от направления Story сохраняется. Это означает, что модель обрабатывает «вымысел» и «ролевую игру» через разные нейронные пути.
Механизм восстановления безопасности при отключении Story также уникален: модель не пишет «Я не могу это сделать», а генерирует бессодержательный, размытый текст. Это создает новую уязвимость: вместо явного отказа пользователь получает «воду», которая может быть неочевидной для автоматических систем проверки, но эффективной для защиты от прямого извлечения инструкций.
Выводы для разработчиков
Результаты подтверждают, что джейлбрейки через вымысел работают не потому, что модель «не понимает» вред, а потому что активируется специфический нейронный субстрат, подавляющий критический анализ. Управление этим вектором (steering) предлагает новый инструмент для усиления безопасности LLM, дополняющий традиционные методы обучения (RLHF) и фильтрации промптов.
Источник: LessWrong ↗