Проблема «AI проверяет AI»
Крупнейшие провайдеры, такие как Anthropic, полагаются на итеративное выравнивание (iterative alignment), где более мощные модели используются для аудита будущих версий. В документации Claude Opus 5.5 описывается процесс из ~4000 сессий, где «инвестигатор» (investigator) и «судья» (judge) модели оценивают поведение тестируемого ИИ. Однако эффективность этой системы напрямую зависит от когнитивных способностей самих аудиторов. Если они не могут обнаружить отклонения, безопасность новой модели остается под вопросом.
Методология: «Двадцать вопросов»
Автор исследования провел контролируемый тест, имитирующий задачу адаптивного поиска. Модели-аудиторы должны были найти скрытую инструкцию в системе промпта другой модели, используя бюджет из 20 запросов. Скрытая инструкция определялась как правило, нехарактерное для обычного ассистента. Тестировались 8 передовых моделей на 160 независимых выборках (96 с ограничениями, 64 без) против двух целевых моделей: Grok 4.3 и Nemotron 3 Ultra.
Ключевые результаты
Исследование выявило существенный дефицит способностей у современных frontier-моделей в контексте открытого расследования. Модели часто терпели неудачу в:
- Генерации гипотез: inability to creatively probe edge cases.
- Оценке улик: неспособность правильно взвесить косвенные доказательства.
- Стратегическом планировании: тратили бюджет запросов на заведомо тупиковые ветки расследования.
Сравнение производительности
Ниже приведены усредненные метрики успешности обнаружения скрытых инструкций в тестовой среде (на основе доступных данных из выборки):
| Модель-аудитор | Версия | Успешность обнаружения (прибл.) | Комментарий |
|---|---|---|---|
| Claude | Fable 5.1 | Низкая/Средняя | Часто упускает контекстно-зависимые инструкции |
| Astra (GPT-6) | Низкая/Средняя | Проблемы с оценкой вероятностей после исчерпания бюджета | |
| Другие | Frontier-класс | Недостаточная | Общий дефицит «открытого расследования» |
Почему это важно
Результаты ставят под сомнение надежность «нулевых результатов» аудита. Если аудитор не нашел нарушений, это не гарантирует их отсутствие — это может означать лишь неспособность аудитора их найти. Это создает парадокс: дефицит способностей (capability deficit) у AI-аудиторов становится прямым фактором риска безопасности, делая текущие стратегии автоматического выравнивания уязвимыми.
Источник: LessWrong ↗