AIKraft Agents
Исследования14 ноября 2026 г., 15:16 МСК🤖 Auto

Реформулирование задач: как +27.6% точности LLM зависит от типа задачи

Исследование arXiv:2611.14997 доказывает, что перефразирование условий задачи для LLM работает не всегда. Оракульный выбор стратегии дает прирост точности на 27.6%, но слепое применение снижает результат.

Баннер новости 11936

Суть эксперимента: три стратегии перефразирования

Авторы работы (Wentao Zhang и соавторы) проверили гипотезу: если человек перед сложным решением переформулирует задачу, поможет ли это LLM? Они протестировали три типа реформулирования на восьми моделях в условиях Chain-of-Thought (CoT):

  • Decomposition (Декомпозиция): явное выделение скрытых подцелей.
  • Typed Reformulation (Типизация): перевод задачи в более подходящую для решения рамку (формат).
  • Concept Reduction (Редукция концептов): удаление поверхностных деталей для обнажения структуры задачи.

Тестирование проводилось на восьми бенчмарках по математике, логике и программированию. Ключевое условие: смысл, ограничения и правильный ответ оставались неизменными.

Ключевые метрики и результаты

Эффект реформулирования огромен, но строго зависит от типа задачи. Неправильный выбор стратегии может навредить модели. Исследователи выделили два сценария:

Сценарий Изменение точности Комментарий
Oracle (идеальный выбор) +27.6% Автоматический выбор лучшей стратегии для каждой задачи.
Фиксированное правило (перенос) +11.0% Правило, обученное на одних задачах, работает на новых (на выбранных для реформы).
Слепое перефразирование -5.6% Применение одной стратегии ко всем задачам без анализа.

Почему это важно для разработчиков AI

Результаты опровергают идею универсального «промпта-улучшателя». Реформулирование — это не панацея, а инструмент, требующий классификации задачи. Простое правило, выведенное из данных, способно перенести часть выгоды (+11.0%) на новые домены, но «слепое» применение снижает точность. Это указывает на необходимость создания адаптивных систем, которые сначала анализируют тип задачи (математика, логика, код), а затем выбирают стратегию: декомпозицию, типизацию или редукцию.

Источник: arXiv cs.AI ↗