Проблема рассинхрона истории и реальности
Агенты на базе больших языковых моделей (LLM) накапливают историю действий, включая ошибки. Традиционные подходы к «очистке» истории предполагают, что замена ошибочного шага на исправленный всегда улучшает результат. Однако новое исследование команды из 6 авторов (Egor Pakhomov, Anurag Koul и др.) доказывает обратное: если мир (окружающая среда) всё ещё содержит последствия ошибки, а история выглядит чистой, агент впадает в когнитивный диссонанс, что вредит его дальнейшей работе.
Эксперимент на AgentCE-Bench
Исследователи заморозили агента в середине задачи, сохранив точное состояние мира, и изменили только историю. Они сравнили три сценария после того, как агент совершил ошибку с неверным значением:
- Нейтральная история (контроль): Ошибка оставлена без изменений.
- Исправление через заметку: Ошибка сохранена, но рядом добавлена truthful note (честная заметка) с правильным значением.
- Исправление через действие: Ошибка заменена на «выполненное действие» с правильным значением.
Результаты показали парадоксальный эффект. Простое добавление заметки повысило долю успешных последующих шагов (recovery) с 51% до 66%. Однако попытка «стереть» ошибку, заменив её на успешное действие, снизила точность с 50% до 44%.
Ключевые метрики
| Сценарий обработки истории | AgentCE-Bench (Recovery %) | AppWorld (Success %) |
|---|---|---|
| Нейтральная/Исходная история | 51% | 38% (при отсутствии эффекта в мире) |
| Добавление честной заметки | 66% (+15 п.п.) | — |
| Замена на «успешное действие» | 44% (-6 п.п.) | 28% (-10 п.п.) |
| Замена + наличие эффекта в мире | — | 49% (+11 п.п. к контролю) |
Взаимодействие с миром: случай AppWorld
На бенчмарке AppWorld исследователи варьировали два фактора: статус подтверждения операции (успех/неудача) и наличие физического эффекта в мире. Ключевой вывод: эффект от редактирования истории зависит от того, соответствует ли история реальному положению дел.
Если агент получил подтверждение об успехе, но эффекта в мире нет, его общая успешность падает с 45% до 28%. Однако, если эффект в мире присутствует, та же самая «чистая» история повышает успешность с 38% до 49%. Разница в 27 процентных пунктов статистически значима (97.5% уверенность для 6 из 8 тестовых моделей).
Вывод для разработчиков
Авторы приходят к выводу, что «чистая» история, противоречащая реальному миру, хуже, чем история с открытыми ошибками. Для повышения эффективности агентов необходимо не просто удалять следы ошибок, а синхронизировать историю с состоянием окружения или явно маркировать расхождения.
Источник: arXiv cs.AI ↗
