Проблема: когда «мысли» модели противоречат фактам
В современных больших языковых моделях (LLM) процесс рассуждения (reasoning trace) часто сохраняется вместе с ответом. Авторы исследования подчеркивают двойственную природу этого трейса: с одной стороны, он повышает точность, с другой — может конкурировать с актуальными доказательствами, если они расходятся. Ключевой вопрос: следует ли модель новым фактам или «залипает» на собственных предыдущих умозаключениях?
Методология: два режима генерации
Команда исследователей (Shaoang Li, Yanhang Shi, Jian Li) протестировала три семейства моделей: gpt-oss, Gemma4 и Qwen3. Эксперименты проводились на сложных наборах данных HotpotQA и MuSiQue, требующих многошагового логического вывода. Были сравнены две конфигурации ответа:
- Continuation (Продолжение): Модель генерирует ответ как естественное продолжение своих предыдущих мыслей (chain-of-thought).
- Separate Call (Отдельный вызов): Модель делает отдельный запрос для формирования ответа, игнорируя прямое продолжение текста рассуждений.
Ключевые результаты: разрыв в точности
Результаты показали радикальную разницу в способности моделей следовать актуальным доказательствам (evidence-following). При использовании отдельного вызова способность следовать доказательствам возрастает на 29.9–60.6 пунктов по сравнению с режимом продолжения. При этом удаление самого трейса рассуждений снижает общую точность на аналогичную величину в обоих режимах, что доказывает: наличие трейса важно, но способ его использования еще важнее.
| Метрика / Параметр | Continuation (Продолжение) | Separate Call (Отдельный вызов) |
|---|---|---|
| Рост следования доказательствам | Базовый уровень | +29.9 – 60.6 пунктов |
| Поведение при конфликте | Повторяет устаревший вывод | Следует актуальному доказательству |
| Влияние удаления трейса | Снижение точности (аналогично) | Снижение точности (аналогично) |
Инсайты: что действительно важно в рассуждениях
Дополнительный анализ выявил несколько нюансов, критичных для разработки систем RAG и CoT:
- Последняя строка трейса: несет большую часть ценности рассуждений.
- Золотые доказательства (gold evidence): наиболее полезны до того, как модель начинает писать трейс рассуждений.
- Отвлекающие факторы (distractors): ослабляют способность к коррекции, особенно в режиме отдельного вызова.
- Обновление рассуждений vs Верификация: Перезапуск процесса рассуждений (renewed reasoning) эффективнее инструкций на верификацию (verification instruction) для следования актуальным доказательствам.
Вывод для индустрии
Авторы настаивают: удаление трейса рассуждений (trace deletion) как метод оценки не позволяет понять, какому источнику (фактам или собственным мыслям) следует модель. Для корректной оценки LLM необходимо сообщать обе метрики (точность и следование доказательствам) вместе с указанием конфигурации ответа. Это особенно важно для приложений, где критична фактологическая точность, а не только логическая связность.
Источник: arXiv cs.AI ↗