Проблема масштабируемости памяти агентов
Память современных LLM-агентов, построенная исключительно на текстовых ключах, становится узким местом. При каждом новом запросе система извлекает информацию из накопленной истории, что приводит к линейному росту стоимости вычислений и задержек. Чем дольше работает агент, тем дороже обходится каждый следующий ответ.
Решение: Weight Memory и OPSD
Авторы предлагают альтернативу — Weight Memory, где знания «запекаются» непосредственно в веса модели. Для этого применяется метод On-Policy Self-Distillation (OPSD). В этой схеме модель-ученик обучается без контекста, подражая модели-учителю, которая отвечает на запросы, используя полную историю (текстовую память). Ключевой элемент — роутер «verify-then-regenerate», который динамически выбирает, какой тип памяти использовать для конкретного запроса.
Результаты на бенчмарке HaluMem
Эксперименты показали, что гибридный подход не только экономит ресурсы, но и сохраняет высокую точность. OPSD демонстрирует результаты, сопоставимые или превосходящие базовые системы с полным контекстом и RAG, при этом потребляя значительно меньше токенов на запрос.
| Метрика / Характеристика | Weight Memory (OPSD) | Text Memory (Baseline) |
|---|---|---|
| Метод хранения | Параметры модели (веса) | Внешний контекст / RAG |
| Затраты на токены | Минимальные (нет контекста) | Высокие (растут с историей) |
| Точность (HaluMem) | Match or Surpass | Strong Baseline |
| Применимость | Постоянная память (user facts) | Эпизодическая память |
Значение для индустрии
Результаты работы, представленной на NeurIPS 2026 Workshop PALM, позиционируют Weight Memory как практичный компонент для долгосрочных, многопользовательских агентов. Это открывает путь к созданию экономичных систем, способных хранить персонализированные факты без экспоненциального роста стоимости инференса.
Источник: arXiv cs.AI ↗