Суть эксперимента: три стратегии перефразирования
Авторы работы (Wentao Zhang и соавторы) проверили гипотезу: если человек перед сложным решением переформулирует задачу, поможет ли это LLM? Они протестировали три типа реформулирования на восьми моделях в условиях Chain-of-Thought (CoT):
- Decomposition (Декомпозиция): явное выделение скрытых подцелей.
- Typed Reformulation (Типизация): перевод задачи в более подходящую для решения рамку (формат).
- Concept Reduction (Редукция концептов): удаление поверхностных деталей для обнажения структуры задачи.
Тестирование проводилось на восьми бенчмарках по математике, логике и программированию. Ключевое условие: смысл, ограничения и правильный ответ оставались неизменными.
Ключевые метрики и результаты
Эффект реформулирования огромен, но строго зависит от типа задачи. Неправильный выбор стратегии может навредить модели. Исследователи выделили два сценария:
| Сценарий | Изменение точности | Комментарий |
|---|---|---|
| Oracle (идеальный выбор) | +27.6% | Автоматический выбор лучшей стратегии для каждой задачи. |
| Фиксированное правило (перенос) | +11.0% | Правило, обученное на одних задачах, работает на новых (на выбранных для реформы). |
| Слепое перефразирование | -5.6% | Применение одной стратегии ко всем задачам без анализа. |
Почему это важно для разработчиков AI
Результаты опровергают идею универсального «промпта-улучшателя». Реформулирование — это не панацея, а инструмент, требующий классификации задачи. Простое правило, выведенное из данных, способно перенести часть выгоды (+11.0%) на новые домены, но «слепое» применение снижает точность. Это указывает на необходимость создания адаптивных систем, которые сначала анализируют тип задачи (математика, логика, код), а затем выбирают стратегию: декомпозицию, типизацию или редукцию.
Источник: arXiv cs.AI ↗
