Проблема: Потеря контекста при чтении истории
Современные системы долговременной памяти (Long-Term Memory) для персональных ассистентов часто страдают от «потери контента» между этапом записи (write) и чтения (read). В системных сравнениях на датасете LongMemEval два коммерческих ассистента показали результаты значительно ниже, чем та же модель, читающая историю офлайн. Это указывает на то, что извлечение и выборка информации из текстового архива неэффективны для сохранения тонких нюансов диалога.
Решение: KV-LTM как акселератор префилла
Авторы предлагают KV-LTM (Key-Value Long-Term Memory) — слой памяти, который хранит не только исходный текст сессии, но и ее KV-кэш (состояния ключей и значений) под фиксированной моделью-читателем. При запросе пользователя система восстанавливает кэш сессии и дописывает вопрос, избегая дорогостоящей операции повторного префилла (re-prefill). Это не замена векторному поиску, а дополнение: текст остается «записью», а кэш — ускорителем без дополнительных вычислений.
Технические детали и затраты
Архитектура опирается на append-only путь чтения и агрегацию с ограничениями. Авторы провели аналитическое моделирование размеров данных для различных конфигураций моделей (BF16 full-attention с GQA и latent-cached MLA). Ниже приведены расчетные метрики хранения для сценария 30 000 токенов в день на одного пользователя:
| Параметр | Значение / Диапазон | Примечание |
|---|---|---|
| Размер состояния на токен (GQA/MLA) | 31K – 328K байт | Зависит от архитектуры внимания |
| Размер состояния (Hybrid KDA+MLA) | ~8.1K байт/токен | + фиксированный рекуррентный член на сессию |
| Объем хранения на пользователя в год | 0.34 – 3.6 ТБ | При 30K токенов/день |
| Объем сырого текста (для сравнения) | ~49 МБ | Текстовая запись без кэша |
Протокол оценки и выводы
Для проверки гипотезы разработан протокол, не требующий физической реализации постоянного кэша для логической оценки QA. Он эмулирует повторное использование кэша при соблюдении контракта модели и состояния ввода. Отдельный тест с реальным кэшем подтверждает численное эквивалентность и измеряет ось затрат. KV-LTM предлагает компромисс: мы тратим больше места на хранение (до терабайтов), чтобы избежать вычислительных затрат на префилл и сохранить верность оригиналу на этапе записи.
Источник: arXiv cs.AI ↗
