Проблема избыточности в веб-агентах
Веб-агенты часто используют обширные наборы инструментов (MCP API) для взаимодействия с браузером. Однако автоматически сгенерированные коллекции часто бывают избыточными, содержат дубликаты и плохо соответствуют реальным потребностям пользователя. Это приводит к росту затрат на токены и задержкам при выполнении задач.
Решение: двухэтапная фильтрация AutoTailor
Авторы предлагают мета-агентный фреймворк AutoTailor, который работает в два этапа:
- Оффлайн-фильтрация: Преобразование веб-траекторий в параметризованные программы. Применяются два фильтра: Quality Filter (удаление инструментов с неподходящей детализацией) и Usage Likelihood Filter (приоритизация широко востребованных функций).
- Онлайн-адаптация: Динамический пересмотр (Dynamic Reselection) отслеживает результаты задач и использование API, добавляя новые кандидаты и удаляя неиспользуемые инструменты.
Результаты на бенчмарке WebArena Postmill
Эксперименты проводились на 106 задачах WebArena Postmill. Изначальный набор из 1 283 API был сокращен до 87 после оффлайн-фильтрации, а затем до 33 — после онлайн-адаптации. Ключевые метрики эффективности представлены ниже:
| Конфигурация | Точность (Correctness) | Снижение затрат токенов | Снижение задержки (Latency) |
|---|---|---|---|
| Реакция (ReAct) только | 87.5% | — | — |
| AutoTailor + ReAct | 90.6% | 57.8% | 29.4% |
| AutoTailor (без ReAct) | 60.1% | 94.9% | — |
Почему это важно
Результаты показывают, что статическая фильтрация создает компактный инвентарь для основных задач, а динамическая адаптация подстраивает его под реальные нужды. Комбинация позволяет достичь точности 90.6% при значительном снижении стоимости и времени выполнения, что критически важно для коммерческого использования веб-агентов.
Источник: arXiv cs.AI ↗