Проблема масштабирования обратной связи
Развертывание AI-агентов в реальных условиях генерирует огромные объемы данных (execution traces), но традиционные методы улучшения качества требуют дорогостоящей ручной аннотации экспертами или сложных систем верификации. Исследователи из Meituan Longcat Team и Фуданьского университета (Сяюань Лю, Фань Юй и др.) предложили решение: извлекать полезную обратную связь непосредственно из истории выполнений, не полагаясь на внешние метки успеха/неудачи.
Методология: DENSE и REFIT
Авторы разработали метод DENSE (Distilling Evidence from Nested Subtask Executions). Его суть — организация доказательств локального прогресса, восстановления после ошибок и невыполненных требований в структуру «деревьев коротких путей» (shortcut trees). Алгоритм сжимает избыточные попытки, согласует проблемы на разных уровнях вложенности и связывает уже достигнутый прогресс с оставшимися задачами.
Для валидации предложен протокол REFIT, который сравнивает результаты обратной связи на общих начальных траекториях, полностью сбрасывая контекст моделей для повторных попыток, оставаясь «слепым» к итоговому результату.
Результаты на Terminal-Bench 2.1
Эксперименты проводились на бенчмарке Terminal-Bench 2.1 с использованием четырех различных моделей-получателей. DENSE показал наивысшую строгую долю успешных прохождений (strict pass rate) среди всех протестированных методов обратной связи, не требующих привилегированного доступа к системе.
| Метрика | Показатель | Примечание |
|---|---|---|
| Рост strict pass rate | +7.12 – 15.64 pp | Относительно первоначальных запусков |
| Сокращение токенов | 19.0 – 43.6% | Меньше токенов-получателей при повторных запусках |
| Базовая модель для абляций | GPT-5.5 | Подтвердила эффективность вложенного анализа |
Почему это важно
Результаты демонстрируют, что агенты могут эффективно самосовершенствоваться, переиспользуя собственные траектории выполнения. Метод DENSE снижает зависимость от внешнего надзора (external supervision), что критически важно для создания автономных систем, способных обучаться на собственном опыте в сложных средах, таких как терминальное взаимодействие или программирование.
Источник: arXiv cs.AI ↗