Проблема «потери памяти» в авто-оптимизации
Существующие методы автоматического проектирования агентов (Agent Harnesses) работают по принципу candidate-centric (ориентированному на кандидата). Это означает, что опыт, накопленный за несколько итераций, привязан к конкретным версиям агента. При переходе к следующему раунду система заново анализирует историю, что приводит к неявному закреплению прогресса, неэффективной таргетинговой починке и распространению неработающих исправлений.
Исследователи из команды Lekang Jiang предлагают парадигму issue-centric (ориентированную на проблему). Ключевая идея: прогресс починки переносится явно через постоянное состояние проблемы (persistent issue state), которое служит компасом для оптимизации, а не выводится заново из истории кандидатов.
Как работает ADIAS
Фреймворк ADIAS (Automated Design of Interactive Agentic Systems) внедряет два основных механизма для полного кода агентов:
- Постоянное состояние проблемы: Поддерживает стабильные идентификаторы ошибок, статус жизненного цикла, подтверждающие доказательства и историю вмешательств. Это предотвращает «забывание» успешных паттернов исправления.
- Оптимизация, направляемая проблемами: Использует это состояние для совместного предложения целей ремонта и направлений пересмотра для последующих сфокусированных модификаций полного кода.
Результаты бенчмарков
ADIAS был протестирован на пяти интерактивных бенчмарках. Метод демонстрирует стабильное превосходство над сильнейшими базовыми линиями (baselines) и показывает устойчивость к разным бэкбон-моделям.
| Метрика / Параметр | Результат / Значение | Примечание |
|---|---|---|
| Прирост точности | +25.2% (в среднем) | По сравнению с лучшим базовым методом |
| Количество бенчмарков | 5 | Интерактивные задачи |
| Снижение при удалении «состояния проблемы» | До 40.7% | Контрольная абляция (ablation study) |
| Снижение при возврате к candidate-centric | До 40.7% | Подтверждает важность issue-centric подхода |
Почему это важно
Результаты контролируемых абляций показывают, что удаление механизма постоянного состояния проблемы или замена его на политику, ориентированную на кандидата, приводит к падению производительности до 40.7%. Это доказывает, что явное управление состоянием ошибок критически важно для эффективной итеративной доработки сложных агентов. ADIAS открывает путь к созданию более надежных систем автоматического проектирования, где прогресс не теряется между раундами обучения.
Источник: arXiv cs.AI ↗