Проблема «грязной» памяти в enterprise-агентах
Постоянная память (persistent memory) становится стандартом для долгосрочных AI-агентов, позволяя им накапливать опыт между сессиями. Однако традиционные кураторские агенты, работающие постфактум, часто сохраняют ошибки, делают неверные обобщения или хранят устаревшие знания. Это приводит к деградации качества решений в производственной среде.
Решение: Environment-Probing Curation
Авторы (Susheel Suresh, Hazel Mak, Sahil Bhatnagar и др.) предлагают метод Environment-Probing Curation. Суть подхода: кураторский агент получает ограниченные права (least-privilege) и инструменты только для чтения, чтобы проверять, уточнять и обновлять кандидаты в память, опираясь на текущее состояние среды.
Ключевое преимущество — метод не требует переобучения моделей, изменения архитектуры ретривера или прав на запись. Он совместим с существующими платформами, такими как GitHub Copilot (GHCP).
Результаты бенчмарков: CLBench и APEX
Эксперименты проводились на базе SDK GitHub Copilot. Метод сравнивался с stateless execution, full in-context learning и базовой версией GHCP + Mem. Результаты на датасете CLBench (исследование баз данных) и 90 задачах управления консалтингом (APEX) демонстрируют прорывные метрики:
| Метрика | Базовый GHCP + Mem | GHCP + Mem (w/ Env Probing) | Эффект |
|---|---|---|---|
| Pass Rate (CLBench) | 39% | 73% | Рост почти в 2 раза |
| Pass-discounted reward | 8.60 | 22.60 | Увеличение в 2.6 раза |
| Запросов на вопрос | 8.8 | 4.7 | Снижение нагрузки |
| Стоимость задачи (USD) | $3.38 | $1.68 | Экономия ~50% |
На шести мирах APEX все 18 сравнений показали положительный прирост награды. Количество вызовов инструментов (tool calls) упало на 16–75%. Метод также показал лучшую эффективность затрат на доллар по сравнению с базовой версией памяти на моделях Sonnet 4.6 и Opus 4.7 без дрейфа схемы (schema drift).
Почему это важно для индустрии
Метод превращает кураторскую память из пассивного хранилища в активный, аудируемый процесс, основанный на данных среды. Для enterprise-сектора это означает возможность внедрения надежных AI-агентов без перестройки всей инфраструктуры, при этом значительно снижая операционные расходы (LLM costs) и повышая надежность решений.
Источник: arXiv cs.AI ↗