Проблема накопления контекста
Долгоживущие языковые агенты (long-horizon agents) сталкиваются с критической проблемой: по мере выполнения сложных задач их история взаимодействий, рассуждений и наблюдений разрастается. Традиционные методы сжатия часто оценивают значимость каждого элемента истории независимо. Однако это не учитывает, что удаление нескольких блоков может быть безопасным, если они избыточны, или опасным, если их совокупный эффект важен для текущего решения. Старые подходы игнорируют «риск набора» (set-level risk).
Решение: DRSR и контрфактуальный надзор
Авторы предлагают Direct Relational Set-Risk Pruning (DRSR). Ключевая инновация — обучение модели-скорера на основе точного контрфактуального надзора. В офлайн-режиме система совместно удаляет валидные блоки истории и измеряет изменение вероятности следующего правильного действия (teacher-forced likelihood). Легковесный скорер затем предсказывает вред от удаления, анализируя отношения между кандидатами на удаление, текущим состоянием агента до действия, а также парные взаимодействия и структуру оставшегося контекста.
Результаты на бенчмарках
Метод DRSR демонстрирует значительное улучшение эффективности при сохранении или даже повышении качества решений. На наборе данных WorkBuddyBench Full260 алгоритм не только сократил расход токенов, но и увеличил средний балл вознаграждения (reward). Ниже приведено сравнение ключевых метрик:
| Метрика | Базовый агент (без сжатия) | Агент с DRSR | Изменение |
|---|---|---|---|
| Средний reward (WorkBuddyBench Full260) | 0.699 | 0.802 | +14.7% |
| Сокращение токенов (WorkBuddyBench Full260) | — | — | -20.82% |
| Средний reward (Eval40) | — | 0.794 | — |
| Токенов на задачу (Eval40) | — | 1.211M | -35.85% |
Механизм работы и безопасность
На этапе развертывания (deployment) DRSR оценивает небольшой набор структурно валидных кандидатов на удаление. Алгоритм удаляет максимально возможный набор токенов, соблюдая ограничения по недавности (recency), протоколу, бюджету токенов и выученному риску. Если ни один набор не является достаточно безопасным, агент воздерживается от удаления (abstains), сохраняя полный контекст. Механистический анализ показал, что решающую роль играют именно условные отношения, зависящие от принятия решений, и информация, остающаяся в контексте после удаления.
Значение для индустрии
Работа Mingxuan Wang и соавторов закрывает важный пробел в оптимизации агентов. Способность безопасно удалять целые блоки истории позволяет создавать более дешевые и быстрые системы, способные работать с длинными сессиями без переполнения контекстного окна. Отказ от независимой оценки элементов в пользу оценки «наборов» делает сжатие более надежным и предсказуемым.
Источник: arXiv cs.AI ↗