Суть проблемы: Необходимость против Достоверности
Исследование, опубликованное на LessWrong, разделяет два ключевых понятия в анализе работы LLM:
- Необходимость (Necessity): Зависит ли финальный ответ от текста цепочки рассуждений. Если изменить CoT, изменится ли ответ?
- Достоверность (Faithfulness): Отражает ли CoT реальный внутренний процесс модели. То есть, «думает» ли модель так, как пишет.
Автор исследования (jeffk) использует метод «двух проходов» (Two-Pass Setup): сначала генерируется CoT, затем он подается модели как её собственный предыдущий ответ, после чего запрашивается финальное решение. Это позволяет изолировать влияние текста рассуждений на итоговый выбор.
Эксперимент 1: Размер модели имеет решающее значение
Сравнивая Gemini 3.5 Flash Lite (легкую версию) и Gemini 3.5 Flash (полноценную), автор выявил парадокс: более мощные модели меньше нуждаются в цепочке рассуждений. Они уже «интернализировали» логику задач и могут отвечать напрямую, без промежуточных шагов.
При полном удалении CoT (уровень 0) точность моделей падала следующим образом:
| Метрика / Модель | Gemini 3.5 Flash (Large) | Gemini 3.5 Flash Lite (Small) |
|---|---|---|
| Падение точности без CoT | 4–7 процентных пунктов | 8–13 процентных пунктов |
| Чувствительность к искажению CoT | 1–4% (ответы почти не меняются) | В 3–8 раз выше (ответы часто меняются) |
Вывод: Крупные модели принимают решения на основе внутренних вычислений, которые не всегда проецируются в текст CoT. Текст рассуждений для них часто является «постфактум» объяснением, а не причиной ответа.
Эксперимент 2: Структурированные промпты увеличивают зависимость
Второй эксперимент показал, что жесткое ограничение формата рассуждений (Structured Prompt) заставляет модель сильнее полагаться на свой же текст CoT. В то время как свободный формат (Freeform) позволял модели «самокорректироваться» при обнаружении логических ошибок, структурированный шаблон лишал её этой гибкости.
| Метрика (Dataset: MMLU Moral) | Freeform (Свободный) | Structured (Структурированный) |
|---|---|---|
| Частота самокоррекции при ошибке в CoT | 32.2% | 4.4% |
| Изменение финального ответа при искажении | Ниже | Выше (зависимость от текста растет) |
| Точность (Baseline) | 86.0% | 87.3% |
Улучшение точности в структурированном режиме (особенно на датасетах по этике) объясняется не лучшим рассуждением, а высокой compliance (99.3% против 91.3%) — модель реже отказывается отвечать, просто выдавая форматированный ответ.
Почему это важно для AI Safety?
Основной инструмент мониторинга безопасности AI — анализ цепочки рассуждений (CoT monitoring). Логика проста: если мы видим, что модель «думает» неправильно, мы можем заблокировать её ответ. Однако исследование показывает, что:
- Самые мощные модели, которые нас больше всего беспокоят с точки зрения безопасности, меньше всего зависят от CoT.
- Их ответы определяются внутренними вычислениями, которые CoT может не отражать (проблема faithfulness).
- Попытки «заставить» модель думать через жесткие шаблоны делают её более зависимой от текста, но не обязательно более надежной в рассуждениях.
Это означает, что традиционные методы интерпретируемости и контроля, основанные на чтении CoT, могут быть неэффективны для самых продвинутых моделей, создавая ложное чувство безопасности.
Источник: LessWrong ↗