Проблема «формальной логики» в повседневных задачах
Крупные модели рассуждения (Large Reasoning Models, LRM), такие как серии o1 и R1, демонстрируют выдающиеся результаты на математических и научных бенчмарках благодаря использованию вычислений во время тестирования (test-time computation). Однако их способность к повседневному логическому мышлению (everyday logical reasoning) остается малоизученной. В отличие от школьной логики, бытовое мышление часто опирается на лингвистические нюансы и прагматику, а не на строгие формальные правила.
Команда исследователей во главе с Кентаро Озэки (Kentaro Ozeki) из Университета Киото провела систематическую оценку, создав новый бенчмарк, основанный на явлениях лингвистического и прагматического рассуждения. Цель — понять, насколько LRM действительно «понимают» контекст, а не просто применяют алгоритмы.
Ключевые результаты сравнения
Авторы сравнили производительность LRM с моделями без явного этапа рассуждения (non-reasoning models) в контролируемых условиях. Выяснилось, что «умные» модели часто проигрывают более простым аналогам, когда задача требует отклонения от формальной логики. Особенно показателен тот факт, что некоторые базовые модели, использующие технику Chain-of-Thought (CoT), превосходят LRM в бытовых сценариях.
| Категория | Наблюдение | Значение |
|---|---|---|
| Деградация производительности | LRM показывают худшие результаты, когда задача отклоняется от формальных правил логики. | Модели «зациклены» на строгих выводах, теряя гибкость. |
| Преимущество базовых моделей | Non-reasoning модели с Chain-of-Thought (CoT) часто выигрывают у LRM. | Сложная архитектура рассуждения не всегда нужна для бытовых задач. |
| Эффективность промптов | Дополнительные инструкции дают ограниченный контроль над поведением модели. | Тонкая настройка через промптинг не решает фундаментальных проблем обучения. |
Почему это важно для индустрии
Результаты исследования ставят под сомнение эффективность текущих методов пост-обучения (post-training), таких как RLHF или DPO, которые оптимизируют модели под строгие логические паттерны. Если LRM не могут надежно имитировать человеческое бытовое мышление, их внедрение в приложения, требующие понимания контекста и подтекста (например, в чат-ботах поддержки или анализе юридических документов), может быть рискованным.
Авторы приходят к выводу, что необходимы новые целевые функции обучения (training objectives) и более разнообразные метрики оценки, которые учитывают не только точность в математике, но и способность к прагматическому выводу в неформальных условиях.
Источник: arXiv cs.AI ↗