Проблема статичных библиотек инструментов
Современные AI-агенты для анализа временных рядов (Time Series Agents) решают аналитические вопросы, вызывая внешние инструменты. Однако традиционный подход, при котором библиотека инструментов формируется человеком до запуска агента, имеет два критических недостатка, выявленных в исследовании:
- Несоответствие инструментов и агента (Human-Agent Tool Misalignment): Библиотека из 21 экспертно подобранных инструмента помогает в одних задачах, но снижает точность обнаружения аномалий в других. Это происходит потому, что полезность инструмента зависит от конкретного вопроса, а не от общего среднего показателя.
- «Тихий вред» (Silent Harm): Даже одна итерация общей саморедакции может изменить 147 ответов, из которых 56 становятся ошибочными, при этом общий балл системы меняется менее чем на единицу. Это скрывает деградацию качества на уровне отдельных запросов.
Решение: Эволюция через провалы
Авторы предлагают метод TimeEvo, который работает по принципу «failure-driven self-evolution» (самоэволюция, движимая неудачами). Процесс включает:
- Кластеризацию диагностированных ошибок агента в «пробелы в возможностях» (capability gaps).
- Планирование метрик для каждого пробела.
- Синтез новых инструментов, основанных только на доказательствах (evidence-only tools), которые заполняют эти пробелы.
- Принятие новых инструментов в библиотеку только через парный шлюз допуска (paired admission gate), что гарантирует их эффективность.
Результаты и метрики
Эксперименты проводились на 10 задачах вопросов и ответов (QA) по временным рядам и трех различных бэкбон-моделях. Ключевые результаты:
- TimeEvo, начиная с пустой библиотеки, улучшил точность на каждой задаче и для каждой модели.
- Библиотека, сгенерированная на дешевой модели, сохраняет эффективность при переносе в более мощные модели (transfer learning effect).
| Аспект | Традиционный подход | TimeEvo |
|---|---|---|
| Формирование инструментов | Ручное, статичное (21 инструмент) | Автоматическое, динамическое, на основе ошибок |
| Влияние на точность | Снижение точности обнаружения аномалий | Улучшение точности на всех задачах |
| Качество ответов | Риск «тихого вреда» (56 из 147 сломанных ответов) | Контролируемое внедрение через шлюз допуска |
Значение для индустрии
Работа демонстрирует, что статические наборы инструментов для AI-агентов неэффективны для сложных аналитических задач. Подход TimeEvo позволяет создавать адаптивные системы, которые учатся на своих ошибках, что критически важно для финансовых прогнозов, мониторинга оборудования и других областей, где точность временных рядов имеет решающее значение. Код проекта доступен в открытом доступе.
Источник: arXiv cs.AI ↗