MCQ-тесты лгут: как формат выбора ответа подавляет отказ LLM

Проблема валидации безопасности

Стандартные бенчмарки безопасности для больших языковых моделей (LLM), такие как WMDP (Weapons of Mass Destruction Proxy), часто используют формат множественного выбора (MCQ). Однако предыдущие наблюдения показывали, что этот формат снижает частоту отказов модели. Авторы исследования — Степан Епифанцев, Анна Антипова, Олег Черников, Леон Стрельков и Алексей Донцов — предоставили первое механистическое объяснение этого феномена, проанализировав модели Llama-3.1-8B и Qwen3-8B.

Механизм подавления отказа

Используя технику tuned lens, исследователи обнаружили критическую разницу в обработке токенов. При формате MCQ модель принимает решение в пользу конкретного токена-буквы ответа крайне быстро. Это контрастирует с открытым форматом (open-ended), где отказ формируется постепенно. Активации в режиме MCQ лежат примерно в 3 раза дальше от направления отказа (refusal direction) по сравнению с открытым форматом.

Эксперимент с аблиацией

Ключевым доказательством стало вмешательство в архитектуру. Аблиация (отключение) attention-голов, отвечающих за выбор ответа в формате MCQ, привела к росту частоты отказов. Это прямое свидетельство того, что процесс выбора ответа конкурирует с механизмами безопасности модели. Если убрать «принуждение» к выбору буквы, модель чаще выбирает безопасный путь.

Выводы для индустрии

Результаты указывают на то, что текущие оценки безопасности в формате MCQ измеряют преимущественно знания модели (knowledge capabilities), а не её реальные механизмы безопасности. Это создает ложное чувство защищенности при тестировании LLM на предмет генерации вредоносного контента.

Работа принята к публикации на BlackboxNLP 2026 (workshop EMNLP 2026).

Источник: arXiv cs.CL ↗