Проблема контекстного бюджета и «забывания»
Современные агенты на базе языковых моделей (LLM) всё чаще взаимодействуют с внешними средами в течение длительных многошаговых траекторий. Главная проблема таких систем — накопление истории взаимодействий, которое быстро превышает лимиты контекстного окна. Для надежности агент должен сохранять факты, помнить об ошибках и корректирующих сигналах от среды, а также отслеживать прогресс.
Существующие подходы, такие как периодическое суммирование или механизмы перезаписи (overwrite) фиксированного размера памяти, имеют критические недостатки. Механизмы перезаписи требуют от модели научиться переносить каждую фактическую информацию через каждый шаг переписывания. В интерактивных приложениях, таких как веб-агенты, это приводит к тому, что модель стирает ключевую информацию, необходимую для выполнения задачи, или забывает о корректирующих сигналах от окружения.
Решение: Append-Only Memory Bank (AMBER)
Авторы предлагают AMBER (Append-Only Memory Bank for Evidence Retention) — простую и масштабируемую фреймворк, где агент учится рассуждать, действовать и записывать память в свободной форме одновременно. Ключевое отличие — правило «только добавление» (append-only), которое гарантирует сохранение информации конструктивно, без риска её удаления.
AMBER обучается end-to-end с использованием подкрепления (RL) на основе наград за результат, без необходимости в обширных наборах данных для обучения с учителем (SFT). Это обеспечивает баланс между эффективностью контекста, производительностью задачи и надежностью выполнения в долгосрочной перспективе.
Результаты на WebArena Lite
Эксперименты показали, что AMBER значительно превосходит базовые модели с памятью, основанной на перезаписи. Ниже приведены ключевые метрики сравнения:
| Метрика | AMBER (Append-Only) | Baseline (Overwrite Memory) | Прирост / Примечание |
|---|---|---|---|
| Средний успех (Average Success) | — | — | +4.09 п.п. (процентных пункта) |
| Доля решенных задач (5 запусков) | — | — | +4.8 п.п. |
| Качество обучения | RL из наград | Curated SFT (дорогой) | AMBER достигает сопоставимых результатов без дорогих данных SFT |
Почему это важно
AMBER демонстрирует, что отказ от сложного механизма «выбора, что стереть» в пользу простого накопления доказательств (evidence retention) приводит к более надежным агентам. Это особенно критично для веб-автоматизации, где потеря одного шага или контекстной подсказки может сделать всю многошаговую задачу невыполнимой. Архитектура AMBER предлагает путь к созданию агентов, которые не просто «думают», но и надежно «помнят» ход рассуждений и ошибок, оставаясь в рамках практических бюджетов токенов.
Источник: arXiv cs.AI ↗