Проблема «шума» в контексте агентов
Агенты, использующие внешние инструменты (API, поиск, код), часто сталкиваются с проблемой раздувания контекстного окна. Результаты запросов могут содержать огромный объем данных, полезная часть которых ничтожно мала по сравнению с общим объемом. Это приводит к перерасходу токенов и увеличению стоимости работы модели.
Автор исследования предлагает метод Agent-Controlled Forgetting (агент-контролируемое забвение). Суть подхода: действующая модель (acting model) самостоятельно выбирает ранее полученные результаты работы инструментов, заменяет их в текущем контексте на короткие текстовые заметки (short notes), а полные оригиналы сохраняет в архиве. При необходимости архивные данные можно восстановить.
Результаты тестирования: OpenTelemetry и отладка
Эксперимент проводился на сценарии отладки OpenTelemetry, за которым следовала независимая задача реализации. Была создана Python-обвязка (harness), обеспечивающая пакетную архивацию и явное восстановление данных без необходимости дообучения модели под конкретную задачу. Важное условие: пользовательские инструкции и сообщения ассистента оставались нетронутыми.
Сравнение эффективности метода с традиционным удержанием всей истории диалога:
| Метрика | Agent-Controlled Forgetting | Полное удержание истории | Экономия |
|---|---|---|---|
| Количество токенов (prompt tokens) | 231,951 | 912,492 | ~74% |
| Кумулятивные входные токены | — | — | 50% меньше |
| Оценочная стоимость API (USD) | $1.28 - $1.44 | ~$4.38 | ~67-70% |
| Время выполнения | — | — | +17% (медленнее) |
| Количество запросов | Больше | Меньше | — |
Оба подхода успешно прошли первичную проверку по поведенческому оракулу (behavioral oracle) для двух кейсов. Однако ни один из методов не полностью удовлетворил требованиям последующей детальной оценки.
Ограничения и зависимость от нагрузки
Исследование выявило критическую зависимость эффективности от типа рабочей нагрузки. В другом паре приложений-разработчиков метод не принес никакой экономии контекста или средств. Более того, в одном из предыдущих продолжений сессий снижение контекста привело к снижению качества, оцененного вручную.
Вывод автора: метод обеспечивает существенную экономику ресурсов при «зашумленных» траекториях использования инструментов, но требует тщательного учета специфики задачи. Реверсивное управление контекстом — это не универсальное решение, а инструмент, эффективность которого зависит от характера данных, генерируемых инструментами.
Источник: arXiv cs.AI ↗