Проблема: нет универсальной архитектуры памяти
Долговременная память становится ключевым компонентом агентов на базе больших языковых моделей (LLM). Однако проектирование такой памяти — сложная задача с множеством взаимосвязанных параметров: что кодировать, как хранить, как извлекать и как управлять данными. Исследователи из команды Lin Du, Jie Zhou и других (включая Qwen-команду) обнаружили, что единой лучшей архитектуры не существует: разные задачи требуют разных комбинаций модулей.
Решение: AutoMem и текстовые градиенты
Авторы разработали AutoMem — фреймворк для поиска архитектуры памяти, основанный на рекурсивном самосовершенствовании (Recursive Self-Improvement) с использованием текстовых градиентов. Система работает в дискретном пространстве поиска, включающем:
- 5 энкодеров (кодировщиков информации),
- 5 хранилищ (баз данных памяти),
- 6 механизмов извлечения (retrievers),
- 4 менеджера (управления жизненным циклом памяти).
AutoMem использует два ключевых компонента:
- Experience-Guided Architecture Search: предлагает новые архитектуры на основе исторических траекторий поиска и накопленных размышлений.
- Failure-Guided Module Diagnosis: локализирует сбои, связанные с памятью, в конкретных модулях и преобразует их в целевой текстовый фидбек для улучшения.
Результаты: точность и эффективность
Эксперименты проводились на трех бенчмарках: GAIA, WebWalkerQA и xBench-DeepSearch с использованием двух бэкбонных моделей LLM. AutoMem стабильно обнаруживает адаптивные архитектуры, превосходящие самые сильные человеческие дизайны.
| Метрика | Результат AutoMem | Сравнение с базовыми линиями |
|---|---|---|
| Улучшение точности | +2.8% (в среднем) | По 6 настройкам бенчмарк-бэкбон |
| Снижение стоимости токенов | -14.3% | На модели Qwen3.5-122B-A10B |
| Эффективность поиска | Выше | Чем случайный поиск в 100+ раз за итерации |
Особое внимание уделено компромиссу между точностью и эффективностью. На модели Qwen3.5-122B-A10B AutoMem не только повысил точность, но и снизил затраты на токены на 14.3% по сравнению с лучшими ручными архитектурами. Это критически важно для коммерческого внедрения агентов, где стоимость запросов является ограничивающим фактором.
Почему это важно
AutoMem демонстрирует, что автоматизация проектирования архитектуры памяти может быть решена через текстовые градиенты и самосовершенствование. Это снижает порог входа для разработчиков агентов, позволяя им не вручную настраивать сложные цепочки памяти, а доверять системе, которая находит оптимальное решение под конкретную задачу. Результаты показывают, что «лучшая» память — это не статический компонент, а динамическая архитектура, адаптирующаяся под контекст.
Источник: arXiv cs.CL ↗