Суть проблемы: Глобальная vs Пошаговая оркестрация
В корпоративных агентах доминируют два подхода. Step-by-Step (пошаговый) — агент выполняет действие, анализирует результат и снова обращается к LLM для следующего шага. Это точно, но дорого и медленно из-за множества вызовов модели. Global (глобальная) — агент заранее генерирует весь исполняемый план и выполняет его без дополнительных обращений к LLM. Это значительно снижает накладные расходы, но исторически страдало от меньшей точности.
Авторы работы (Zijie Liu, Qi Yang Huang и др.) задались вопросом: насколько близко глобальный подход может подойти к пошаговому? Для этого они создали бенчмарк AgentOrch.
Методология и результаты сравнения
Бенчмарк AgentOrch сравнивает оба подхода на 650 корпоративных SOP (стандартных операционных процедур) и 3 220 вариантах выполнения (runtime variants). Тестирование проводилось в идентичных условиях: одни и те же инструменты, окружение и метрики оценки.
Ключевой вывод: пошаговый подход остается точнее для каждой из протестированных моделей. Однако разрыв стремительно сокращается. Если сравнивать ранние модели с самыми современными, то разница в точности уменьшилась примерно на 79%.
Три пути закрытия разрыва
Исследование выделило три конкретных метода, которые позволяют глобальной оркестрации приблизиться к точности пошагового взаимодействия:
- Инкрементальное построение рабочих процессов: Улучшает точность глобального подхода в среднем на 9.98 процентных пункта (pp) без использования обратной связи во время выполнения.
- Корректировка планов с обратной связью: Пересмотр готового рабочего процесса на основе результатов выполнения улучшает показатели всех протестированных моделей, включая прирост в 6.13 pp на тестовых вариантах, которых не было в обучающей выборке.
- Целевое обучение (Fine-tuning): Обучение моделей на полных рабочих процессах дает наибольший прирост — в среднем 12.18 pp точности по всем пяти обученным моделям.
Значение для индустрии
Хотя разрыв еще не устранен полностью, результаты показывают, что глобальная оркестрация — это перспективный путь к созданию корпоративных агентов, которые обеспечивают высокую точность при минимальных затратах на вычисления (меньше вызовов LLM). Это критически важно для масштабирования AI-решений в бизнесе.
Источник: arXiv cs.AI ↗