AIKraft Agents
Исследования16 ноября 2026 г., 22:18 МСК🤖 Auto

Обучение против «похожего на CoT» равно обучению против CoT

Исследователь Ezra Newman утверждает, что модели не различают формальные цепочки рассуждений (CoT) и тексты, имитирующие их стиль. Давление на такие «псевдо-рассуждения» эффективно подавляет способность модели к логическому мышлению.

Баннер новости 12067

Гипотеза: Стиль важнее формата

Новая гипотеза от Ezra Newman (Apollo Research) ставит под сомнение традиционное понимание того, как LLM обрабатывают рассуждения. Автор предполагает, что модель не имеет отдельных нейронных признаков для «тегов рассуждений» (например, <thinking>) и «текста, который звучит как рассуждение».

Если модель использует 90% времени для формального CoT и 10% — для комментариев в коде, но в обоих случаях применяет один и тот же синтаксис (например, обрывистые фразы вроде «need complete task» вместо полных предложений), то обучение против комментариев в коде будет иметь тот же эффект, что и обучение против самого CoT.

Концептуальная модель «трех регионов»

Новман предлагает упрощенную модель архитектуры, где можно выделить три функциональные зоны:

  • Регион CoT: Отвечает за генерацию промежуточных шагов рассуждения.
  • Регион вызова инструментов: Отвечает за взаимодействие с внешними API.
  • Регион финального вывода: Отвечает за итоговый ответ.

Ключевой вывод заключается в том, что комментарии в коде (или другой текст в стиле рассуждений) генерируются в том же «Регионе CoT». Следовательно, применение градиентного спуска (обучения) к этим комментариям эквивалентно применению давления на сам механизм рассуждений модели.

Практические последствия для RLHF и DPO

Это открытие имеет критическое значение для методов обучения с подкреплением (RLHF) и прямой оптимизации предпочтений (DPO). Если исследователи пытаются «очистить» модель от лишних рассуждений, удаляя только явно помеченные теги, но игнорируют тексты, стилистически похожие на CoT, они могут случайно деградировать когнитивные способности модели.

Связь с предыдущими исследованиями

Работа Ньюмана перекликается с результатами исследования "Output Supervision Can Obfuscate the Chain of Thought", которое также предоставляет эмпирические доказательства того, что контроль над выходными данными может непреднамеренно скрывать или подавлять внутренние процессы рассуждения. Это указывает на то, что проблема не в формате тегов, а в том, как модель интерпретирует и обучается на текстовых паттернах, имитирующих логику.

Источник: LessWrong ↗