Проблема: Дилемма бюджета рассуждений
Современные LLM-агенты выполняют задачи пошагово, корректируя действия на основе обратной связи. Однако общий «бюджет рассуждений» (reasoning budget) ограничен. Агентам приходится решать сложную задачу: использовать ли больше вычислительных ресурсов для глубокого анализа сейчас, чтобы избежать ошибок в будущем, или сэкономить бюджет для последующих шагов. Традиционные подходы либо всегда используют длинное рассуждение (что дорого и медленно), либо короткое (что снижает точность в сложных сценариях).
Решение: PORA (Paired Outcome-guided Reasoning Allocation)
Авторы предлагают метод PORA, который учится принимать решение о длине рассуждения, сравнивая результаты двух вариантов из одного и того же состояния взаимодействия. Во время обучения агент выполняет задачу дважды из выбранного состояния: один раз с коротким, а второй раз с длинным разрешением на рассуждение. Это позволяет оценить «стоимость» и «ценность» длинного рассуждения для конкретного шага.
Во время инференса (работы) контроллер PORA взвешивает эту оценку против «цены» давления оставшегося бюджета. Агент выбирает один из вариантов, не запуская оба, что делает процесс эффективным.
Результаты: Прорыв в эффективности
Метод PORA был протестирован на задачах в области приложений, памяти, кода, розничной торговли и математики. Результаты демонстрируют значительное превосходство над существующими методами:
| Метрика / Задача | Результат PORA | Сравнение / Эффект |
|---|---|---|
| Benchmark BFCL (Memory) | Превосходство | +17.4–32.9 п.п. к лучшим существующим методам |
| Генерация кода | Совпадение или лучше | Экономия 50.6% токенов актора (actor tokens) |
| Математические задачи | Совпадение или лучше | Экономия 31.2% запросов к модели (model requests) |
Почему это важно
PORA решает фундаментальную проблему масштабируемости LLM-агентов. Снижение потребления токенов и количества запросов к модели напрямую влияет на стоимость развертывания и скорость отклика. Возможность достигать качества «всегда длинного рассуждения» при значительно меньших затратах делает этот метод критически важным для коммерческого внедрения сложных автономных агентов в реальных приложениях.
Источник: arXiv cs.AI ↗