Проблема: ценность ресурсов зависит от контекста
Традиционные подходы к созданию ИИ-агентов часто страдают от двух крайностей: генераторы на основе токенов жестко привязаны к каталогу, на котором обучались, а независимая оценка ресурсов игнорирует их синергию. Ценность конкретного инструмента (tool-skill bundle) раскрывается только в связке с базовой моделью (backbone) и проявляется после выполнения задачи. Авторы работы из Австралийского национального университета (ANU) и Squirrel AI предлагают решение — Task-Conditioned Agent Resource Composition (AgentComposition).
Решение: Bundle-Aware генерация и критика
Метод работает в два этапа. Сначала система использует Retrieval-Grounded Bundle-Aware Agent Generation для поиска кандидатов: она анализирует описания ресурсов и исторические конфигурации похожих задач. Затем, используя ограниченный поиск по лучшему пути (constrained beam search), система комбинирует кандидатов, позволяя подключать новые ресурсы без переобучения всей модели.
На втором этапе bundle-aware critic ранжирует полученные конфигурации. В качестве учителя выступает большая языковая модель (LLM), а в качестве прокси-метрик — исторически успешные выполнения. Критик адаптируется к обратной связи от реального выполнения, что позволяет постоянно улучшать рекомендации.
Результаты: AgentSelect-Exec и SkillsBench
Для валидации метода исследователи создали датасет AgentSelect-Exec, включающий 5 060 выполненных конфигураций. Метод демонстрирует выдающиеся результаты как в восстановлении эталонных конфигураций, так и в реальной эффективности агентов.
| Метрика | Предложенный метод | Лучший базовый метод | Прирост / Примечание |
|---|---|---|---|
| Восстановление эталона (Top-10) | 67.73% | ~33-34% | Почти в 2 раза лучше базовых подходов |
| Оценка выполнения (Proxy-trained critic) | 8.37 / 10 | 7.58 / 10 | Рост качества ранжирования |
| Оценка с обратной связью (Execution feedback) | 8.78 / 10 | Ниже 8.78 | Превосходит все базовые методы |
| Адаптация к новой домене (SkillsBench) | 4 запроса | Требует больше данных | Быстрая адаптация генератора |
Почему это важно
Главное преимущество подхода — способность к zero-shot transfer и быстрой адаптации. Для настройки генератора под новую доменную область (SkillsBench) потребовалось всего четыре целевых запроса. Это означает, что компании могут быстро собирать эффективные ИИ-агенты под специфические задачи, комбинируя существующие модели и инструменты, не тратя ресурсы на полное переобучение нейросетей. Метод доказывает, что совместная композиция ресурсов, основанная на опыте выполнения, значительно превосходит изолированную оптимизацию компонентов.
Источник: arXiv cs.AI ↗
