AIKraft Agents
Исследования14 ноября 2026 г., 08:16 МСК🤖 Auto

Чистая история вредит: почему исправление ошибок агента снижает его эффективность

Исследование arXiv (2026) показывает, что удаление следов ошибок из истории LLM-агента может снизить его точность на 27 пунктов, если реальный мир всё ещё содержит последствия этих ошибок.

Баннер новости 11909

Проблема рассинхрона истории и реальности

Агенты на базе больших языковых моделей (LLM) накапливают историю действий, включая ошибки. Традиционные подходы к «очистке» истории предполагают, что замена ошибочного шага на исправленный всегда улучшает результат. Однако новое исследование команды из 6 авторов (Egor Pakhomov, Anurag Koul и др.) доказывает обратное: если мир (окружающая среда) всё ещё содержит последствия ошибки, а история выглядит чистой, агент впадает в когнитивный диссонанс, что вредит его дальнейшей работе.

Эксперимент на AgentCE-Bench

Исследователи заморозили агента в середине задачи, сохранив точное состояние мира, и изменили только историю. Они сравнили три сценария после того, как агент совершил ошибку с неверным значением:

  • Нейтральная история (контроль): Ошибка оставлена без изменений.
  • Исправление через заметку: Ошибка сохранена, но рядом добавлена truthful note (честная заметка) с правильным значением.
  • Исправление через действие: Ошибка заменена на «выполненное действие» с правильным значением.

Результаты показали парадоксальный эффект. Простое добавление заметки повысило долю успешных последующих шагов (recovery) с 51% до 66%. Однако попытка «стереть» ошибку, заменив её на успешное действие, снизила точность с 50% до 44%.

Ключевые метрики

Сценарий обработки истории AgentCE-Bench (Recovery %) AppWorld (Success %)
Нейтральная/Исходная история 51% 38% (при отсутствии эффекта в мире)
Добавление честной заметки 66% (+15 п.п.) —
Замена на «успешное действие» 44% (-6 п.п.) 28% (-10 п.п.)
Замена + наличие эффекта в мире — 49% (+11 п.п. к контролю)

Взаимодействие с миром: случай AppWorld

На бенчмарке AppWorld исследователи варьировали два фактора: статус подтверждения операции (успех/неудача) и наличие физического эффекта в мире. Ключевой вывод: эффект от редактирования истории зависит от того, соответствует ли история реальному положению дел.

Если агент получил подтверждение об успехе, но эффекта в мире нет, его общая успешность падает с 45% до 28%. Однако, если эффект в мире присутствует, та же самая «чистая» история повышает успешность с 38% до 49%. Разница в 27 процентных пунктов статистически значима (97.5% уверенность для 6 из 8 тестовых моделей).

Вывод для разработчиков

Авторы приходят к выводу, что «чистая» история, противоречащая реальному миру, хуже, чем история с открытыми ошибками. Для повышения эффективности агентов необходимо не просто удалять следы ошибок, а синхронизировать историю с состоянием окружения или явно маркировать расхождения.

Источник: arXiv cs.AI ↗