Суть проблемы: решение найдено, но агент не останавливается
Команда исследователей из Университета Пенсильвании (Musa Cim, Burak Topcu, Mahmut Taylan Kandemir) проанализировала поведение coding-агентов в задачах исправления багов. Они ввели термин Termination Lag — разрыв между моментом, когда агент впервые применяет правильный патч, и окончанием его работы. Анализ проводился на трех наборах данных SWE-bench (Verified, Multilingual и др.) с использованием двух фреймворков и пяти моделей.
Ключевые метрики и цифры
Исследование зафиксировало каждый уникальный патч, сгенерированный во время выполнения. Результаты показали парадоксальную картину:
- 38–82% успешных запусков находят корректное решение уже при первом редактировании исходного кода.
- После нахождения решения агенты продолжают работать, тратя значительную часть вычислительных шагов на верификацию и исследование репозитория.
- В 1–8% случаев эта «лишняя» активность приводит к тому, что агент случайно отменяет свое же правильное исправление, делая финальный код ошибочным.
Сравнение моделей: где теряется больше всего времени?
Доля шагов, потраченных после нахождения правильного решения (post-solution steps), варьируется в зависимости от модели. Ниже приведены медианные значения для успешных запусков:
| Модель / Агент | Доля шагов после решения (SWE-bench Verified) | Доля шагов после решения (Multilingual) |
|---|---|---|
| Qwen3-Coder | 35–37% | 35–37% |
| Laguna-XS.2 | 54–60% | 54–60% |
Почему это важно для разработчиков
Феномен Termination Lag указывает на фундаментальную проблему в архитектуре автономных агентов: они не умеют эффективно «отпускать» задачу, даже когда цель достигнута. Это приводит к:
- Росту затрат: Лишние шаги генерации и верификации увеличивают стоимость API-запросов и время выполнения.
- Риску регрессии: Чем дольше агент работает после нахождения решения, тем выше вероятность, что он «переусердствует» и сломает рабочий код.
Исследование предлагает пересмотреть стратегии остановки (early stopping) для coding-агентов, чтобы фиксировать первое успешное решение и избегать излишней оптимизации, которая часто вредит результату.
Источник: arXiv cs.AI ↗
