Суть проблемы: иллюзия устойчивости
Традиционные оценки самообучающихся агентов (self-improving agents) измеряют успех на финальном наборе навыков, с которым модель обучалась. Однако в реальных условиях банк навыков (skill bank) динамичен: функции переписываются, добавляются или удаляются чаще, чем происходит переобучение самой политики агента (policy model). Авторы исследования, опубликованного 14 октября 2026 года, доказали, что текущие методы используют правило «кооперативного принятия» (cooperative acceptance), которое делает компетентность агента хрупкой. Агенты становятся неспособными работать с «дрейфующими» (измененными) навыками, так как их политика жестко привязана к конкретному состоянию банка во время обучения.
Метрика CODA и новые метрики
Для решения этой проблемы команда во главе с Юцзе Фэнгом (Yujie Feng) предложила протокол аудита CO-evolution Drift Audit (CODA). В отличие от стандартных тестов, CODA симулирует сценарии дрейфа навыков после развертывания. Вводятся две новые метрики:
- Consistency Rate: устойчивость к редактированиям, сохраняющим смысл навыков.
- Resistance Rate: способность работать с поврежденными или ошибочными навыками.
Эмпирические данные: провал производительности
Тестирование проводилось на четырех методах коэволюции и пяти бенчмарках (всего шесть настроек). Результаты показали катастрофическое падение эффективности при изменении банка навыков. В худшем сценарии (worst-case drift) успех падает на 5-13 пунктов по сравнению с пиковыми значениями, что полностью нивелирует преимущество перед базовой линией без навыков.
| Метрика / Параметр | Значение / Описание |
|---|---|
| Падение успеха (worst-case) | 5-13 пунктов ниже пика на финальном банке |
| Нивелирование выгоды | 52-93% от общего прироста над базовой линией |
| Количество методов | 4 метода коэволюции |
| Количество бенчмарков | 5 бенчмарков (6 настроек) |
| Дата публикации | 14 октября 2026 |
Почему это важно для индустрии
Результаты исследования переформатируют цель разработки коэволюционных агентов: фокус должен сместиться с достижения пиковой производительности на статичном наборе навыков на способность эффективно использовать навыки в условиях их постоянной эволюции. Без внедрения стандартов вроде CODA будущие методы не смогут быть адекватно проверены на устойчивость, что делает их непригодными для надежного развертывания в динамичных средах.
Источник: arXiv cs.AI ↗