Проблема: поведенческая инерция агентов
Агенты на базе больших языковых моделей (LLM) отлично справляются с долгосрочными задачами, но их обучение обычно фиксирует набор инструментов. Когда появляется новый инструмент, агент часто игнорирует его, возвращаясь к знакомым паттернам. Авторы статьи называют это «поведенческой инерцией» (behavioral inertia) — главной преградой для масштабирования агентов.
Решение: якорение контрфактуального контекста
Метод ToolAnchor предлагает «якорить» контрфактуальный контекст в критических точках принятия решений. Это позволяет восстановить провалившиеся траектории и активировать подавленные способности агента. Процесс включает три этапа:
- Гипотеза: модель-учитель (teacher model) генерирует контрфактуальные сценарии.
- Верификация: модель-ученик (student) проверяет эти сценарии через запуски (rollouts).
- Интернализация: успешные вмешательства закрепляются через агентное пост-обучение (agentic post-training).
Результаты: сравнение на бенчмарках
ToolAnchor демонстрирует конкурентоспособные результаты на расширенных наборах инструментов. Ниже приведены ключевые метрики эффективности метода на различных задачах:
| Бенчмарк | Тип задачи | Ключевое преимущество ToolAnchor |
|---|---|---|
| GAIA | Общий AI-ассистент | Успешное внедрение новых инструментов без переобучения с нуля |
| BrowseComp | Текстовый поиск | Преодоление инерции при поиске в сложных сценариях |
| VDR-Bench | Визуальный поиск | Адаптация к новым визуальным инструментам в реальном времени |
Значение для индустрии
Работа закрывает разрыв между статическим пост-обучением и динамической адаптацией. ToolAnchor открывает путь к масштабируемому агентному обучению с подкреплением (RL), где агенты могут гибко расширять свой арсенал инструментов без дорогостоящего переобучения.
Источник: arXiv cs.AI ↗