Проблема «черного ящика» в эволюции агентов
Автоматизированная эволюция агентов (Harness Evolution) позволяет оптимизировать промпты, навыки, инструменты и код оркестровки вокруг фиксированной модели, не меняя её веса. Это создает иллюзию быстрого улучшения производительности. Однако исследователи из группы Wenxuan Ding задались вопросом: насколько эти улучшения обобщаются на новые задачи, а насколько являются просто переобучением под конкретный бенчмарк?
Методология HDA: три компонента прироста
Для ответа на этот вопрос команда разработала протокол Harness-Delta Attribution (HDA). Он разделяет общий прирост производительности на три составляющие:
- Artifact-driven overfitting (Переобучение): Улучшения, которые работают только на обучающей выборке, но не переносятся на новые данные.
- Test-time scaling (Масштабирование времени тестирования): Прирост за счет увеличения вычислительных ресурсов во время инференса (например, больше шагов рассуждения).
- Residual generalizable improvement (Обобщаемое улучшение): Реальный прирост интеллектуальных способностей агента, который сохраняется на «скрытых» (held-out) задачах.
Результаты: 68% — шум, 32% — польза
Авторы протестировали 11 моделей-исполнителей (executors) и три фреймворка эволюции в задачах по математике, программированию, креативу и агентным сценариям. В 21 случае, где наблюдалась статистически значимая улучшение на поисковой выборке, результаты оказались пессимистичными:
| Компонент прироста | Доля в общем улучшении | Значение для индустрии |
|---|---|---|
| Переобучение (Overfitting) | 54% | Большинство «улучшений» не работают вне тестовой среды |
| Тестовое масштабирование (Scaling) | 14% | Рост затрат на инференс без роста IQ модели |
| Обобщаемое улучшение (Residual) | ~32% | Реальный потенциал, который часто теряется при смене домена |
В 14 из 21 протестированных сценариев комбинация переобучения и масштабирования превышала 50%. Это означает, что заявленный прирост производительности часто является артефактом оптимизации под конкретный набор тестов.
Почему валидация не спасает
Ключевой вывод исследования: стандартные сигналы валидации (validation-based signals) недостаточны для предотвращения переобучения. Прирост на поисковой выборке часто не переносится на «скрытые» (held-out) задачи, что ставит под сомнение эффективность текущих подходов к оценке качества эволюции агентов. Исследователи призывают внедрять атрибуцию-ориентированную оценку (attribution-aware evaluation) для более честного измерения прогресса в области AI-агентов.
Источник: arXiv cs.AI ↗