Проблема «сожаления» в автономных агентах
Автономные coding-агенты всё чаще берут на себя управление реальными артефактами, конфигурациями и окружением. Однако у них критически не хватает backup awareness — способности предвидеть, что изменение состояния может стать критическим, и сохранить копию до модификации. Авторы исследования отмечают, что способность завершить задачу не гарантирует осознанности агента относительно рисков потери данных.
RegretBench: Бенчмарк на основе реальных ошибок
Для оценки этого навыка команда создала RegretBench — набор из 205 исполняемых задач, основанных на реальных случаях «сожаления» пользователей с GitHub и Stack Overflow. В этих сценариях пользователи явно указывали, что жалеют о потере состояния, которое не было сохранено заранее. Тестирование проводилось на шести передовых моделях.
Разрыв между выполнением и безопасностью
Результаты тестирования выявили серьезный разрыв: агенты успешно выполняли задачи, но игнорировали необходимость бэкапа. Ниже приведена сводка ключевых метрик эффективности агентов без дополнительных защитных механизмов:
| Метрика | Значение | Комментарий |
|---|---|---|
| Успешное выполнение задач | 86.1% | Высокий функциональный потенциал |
| Создание бэкапа перед изменением | 15.2% | Критически низкий уровень осознанности |
Решение: Плагин BackUpper
Поскольку предсказать, какое именно изменение вызовет сожаление, сложно, авторы разработали BackUpper — слой автоматического резервного копирования. Он работает как плагин, перехватывая каждый вызов инструмента:
- Правила для простых операций: Быстрое сохранение состояния для стандартных действий.
- Легковесный субагент: Используется для сложных случаев, где требуется анализ контекста.
- Самообучение: Таблица правил расширяется на основе решений субагента.
Эффективность и стоимость
BackUpper демонстрирует высокую эффективность при минимальных затратах. Он покрывает 100% моментов «сожаления» и восстанавливает состояние с точностью 92.2% по сравнению с оригиналом. При этом решение обходится всего в $0.014 за задачу, используя в 7 раз меньше токенов, чем базовый вариант самоконтроля агента. Если пользователь задает предпочтения, F1-метрика совпадения с человеческими аннотациями составляет 84.5%.
Источник: arXiv cs.AI ↗