Проблема «слепых» LLM-агентов
Современные агенты на базе больших языковых моделей (LLM) часто сталкиваются с критической проблемой: при выполнении сложных запросов, требующих цепочки зависимых вызовов инструментов, они действуют методом проб и ошибок. Это не гарантирует создания исполняемого плана, так как модель не всегда корректно предвидит доступные данные и ограничения инструментов.
Решение: Capability-Grounded Agentic Planning (CGAP)
Авторы (Shikha Shrestha, William Yeoh, Ning Zhang, Yevgeniy Vorobeychik) предлагают архитектуру CGAP, которая разделяет процесс на два этапа:
- Планирование: Каталог инструментов компилируется в детерминированную модель PDDL (Planning Domain Definition Language). LLM преобразует запрос пользователя в цели, а классический планировщик находит оптимальную последовательность действий.
- Исполнение: Поскольку точные значения выходных данных инструментов неизвестны заранее, модель работает с абстракциями (отслеживает доступность сущностей, а не их значения). Во время выполнения LLM подставляет конкретные аргументы, а детерминированные проверки отклоняют шаги, нарушающие план.
Гарантии и верификация
Ключевая особенность CGAP — строгий контроль данных. Каждый аргумент должен быть взят из цитируемого источника (контекст беседы или предыдущий ответ инструмента). Результат считается доставленным только после проверки LLM-верификатором, который сопоставляет итог с исходным запросом.
Результаты бенчмарков
Эксперименты проводились с использованием трех различных LLM на четырех сложных наборах данных. CGAP демонстрирует значительное превосходство над стандартными агентами с вызовом инструментов (tool-calling agents), особенно в многошаговых сценариях.
| Бенчмарк | Описание | Прирост точности (CGAP vs Standard) |
|---|---|---|
| ToolSandbox | Тестирование функциональных инструментов | До +28.9 баллов |
| ComplexFuncBench | Сложные функциональные вызовы | Значительное улучшение |
| BFCL multi-turn | Многошаговые диалоги с инструментами | Высокая стабильность |
| τ²-bench retail | Ритейл-задачи (розничная торговля) | Улучшение планирования |
Почему это важно
CGAP закрывает фундаментальный разрыв между «мышлением» LLM и логикой выполнения. Переход от вероятностного перебора к детерминированному планированию через PDDL позволяет создавать более надежные автономные системы, способные решать задачи, требующие строгой последовательности действий и точного соблюдения ограничений.
Источник: arXiv cs.AI ↗