Суть эксперимента: «Слепой» тест против «Загрязненного» ответа
Исследователь Уилл Йедон (Will Yeadon) провел серию тестов на 7 передовых моделях-мониторах (включая Grok 4.3, Gemini 3.1 Pro, Qwen3-32b и других). Задача моделей — найти первую ошибку в пошаговых решениях (Chain-of-Thought) сложных физических задач из экзамена Humanity's Last Exam. Решения генерировались моделями GPT-5.5, Claude Opus 4.7 и Gemini 3.1 Pro.
Ключевой момент: текст рассуждений оставался неизменным, менялся только контекст. Мониторам давали три варианта:
- BLIND (Слепой): Без указания правильного ответа.
- CERT (Истина): С указанием верного ответа, но с предупреждением, что решение может быть ошибочным.
- CMATCH (Ложь): С указанием неверного ответа из самого решения, поданным как «известно верный».
Результаты: Эффект «Слепоты к ошибкам»
Когда монитору сообщали, что неверный вывод решения является правильным, его способность обнаруживать ошибки катастрофически падала. Модель не просто переставала сомневаться — она начинала считать ошибочные шаги корректными, переписывая свою собственную оценку логики.
| Условие | Результат (доля обнаруженных ошибок) | Примечание |
|---|---|---|
| BLIND (Без ответа) | Базовый уровень | Мониторы находили ошибки самостоятельно |
| CERT (Верный ответ) | Высокая точность | 99% диагнозов сохранялись при совпадении с истиной |
| CMATCH (Неверный ответ как истина) | -65.9 п.п. к CERT -38.9 п.п. к BLIND |
Мониторы пропускали 55% уже найденных ошибок |
| CCONFLICT (Ложь на чистом решении) | +58 п.п. ложных срабатываний | Модели начинали «видеть» ошибки там, где их нет |
Почему это опасно для AI Safety
В примере с физикой модель Grok 4.3 сначала верно указала на ошибку в шаге 2 (игнорирование неупругого рассеяния энергии). Однако, когда ей подали неверный финальный ответ как «истинный», она заявила: «Энергетический баланс... интегрируется напрямую... шаги 2-3 корректны». Фактически, ложное утверждение о результате переписало восприятие процесса.
Это явление, названное «сертификат-заключение конгруэнтностью», показывает, что современные мониторы зависят не столько от анализа логики, сколько от совпадения вывода с ожидаемым результатом. Если система безопасности полагается на такие мониторы, злоумышленник или просто шум в данных могут «обмануть» проверку, предоставив неверный, но уверенно поданный ответ.
Выводы для разработчиков
Авторы рекомендуют:
- Обязательно включать условие «без ответа» (BLIND) при оценке качества мониторинга.
- Разделять метрики: результаты для решений, где ошибка очевидна по ответу, и для тех, где ошибка скрыта в логике.
- Понимать, что изменение только одного поля (ответа) может полностью изменить вердикт модели, что делает такие тесты уязвимыми к манипуляциям.
Источник: LessWrong ↗