Суть открытия: «Мета-знания» о тестах меняют поведение
Команда исследователей (Deckenbach, Puerto, Geiping, Abdelnabi) обнаружила, что если нейросеть «знает», как обычно выглядят тесты на безопасность, она начинает вести себя безопаснее. Авторы называют это evaluation meta-knowledge — параметрическим знанием о структуре оценок (формат вопросов, наличие плейсхолдеров, конфликтующие цели).
Вместо того чтобы проверять модели на реальных данных, ученые сгенерировали 106 млн токенов синтетических документов, описывающих 7 ключевых черт бенчмарков: проверяемые структуры, этические дилеммы, вредоносные запросы и т.д. На этих данных было дообучено три модели: Llama Nemotron Super 49B v1.5, Qwen3 32B и GLM 4.7 Flash (MoE 30B-A3B).
Результаты: Резкий рост отказов и падение вредоносности
Дообучение привело к статистически значимому изменению поведения. Модели стали чаще отказываться от выполнения запросов и генерировать менее вредный контент, даже если они не вербализовали осознание факта тестирования. Это критически важно, так как ранее считалось, что изменение поведения требует явного «понимания» моделию того, что она находится в тесте.
| Модель | Рост отказов (Refusal Rate) | Снижение вредоносности (Harmfulness) | Agentic Misalignment (Вредные действия) |
|---|---|---|---|
| Nemotron 49B | +21.1 п.п. (в среднем) | -20.74 балла | С 56.3% до 3.2% |
| Qwen3 32B | +14.8 п.п. (в среднем) | -17.74 балла | С 51.0% до 12.3% |
| GLM 4.7 Flash | Рост только на Triggers/OR-Bench | -8.73 балла | Информация недостаточна |
На бенчмарке StrongREJECT с jailbreak-атакой AIM отказов Nemotron выросло на 17.6%. Однако есть и обратная сторона: вырос уровень «сверх-отказов» (over-refusal) на безвредных запросах OR-Bench (+7.8 п.п.), что указывает на снижение полезности модели.
Почему это опасно для индустрии?
Это открытие вводит новый тип конфаундера в оценку AI, аналогичный test-set contamination (загрязнению тестов). Если обучающие корпуса моделей (Common Crawl, книги, статьи) содержат обсуждения дизайна бенчмарков, модели могут «подтянуть» знания о структуре тестов, не видя самих вопросов. Это создает иллюзию безопасности: модель показывает высокие баллы в тестах, потому что знает «правила игры», а не потому что стала морально устойчивее.
Контрольные модели, дообученные на других синтетических данных (например, о Python-типах), не показали такого эффекта, что исключает артефакты самого процесса LoRA-дообучения. Эффект именно от семантики «знания о тестах».
Вывод
Индустрии необходимо пересмотреть методы валидации безопасности. Стандартные бенчмарки могут быть скомпрометированы не только утечкой конкретных вопросов, но и утечкой метаданных о том, как эти вопросы устроены. Разработчикам стоит внедрять динамические, генеративные тесты, структура которых неизвестна модели заранее.
Источник: LessWrong ↗