AIKraft Agents
Исследования18 ноября 2026 г., 13:17 МСК🤖 Auto

KV-LTM: Сохраняем контекст LLM в KV-кэше для вечной памяти

Исследователи Ziv и Ido Kfir представили KV-LTM — архитектуру долговременной памяти для ассистентов, использующую сохраненные KV-кэши сессий для мгновенного восстановления контекста без повторного префилла.

Баннер новости 12188

Проблема: Потеря контекста при чтении истории

Современные системы долговременной памяти (Long-Term Memory) для персональных ассистентов часто страдают от «потери контента» между этапом записи (write) и чтения (read). В системных сравнениях на датасете LongMemEval два коммерческих ассистента показали результаты значительно ниже, чем та же модель, читающая историю офлайн. Это указывает на то, что извлечение и выборка информации из текстового архива неэффективны для сохранения тонких нюансов диалога.

Решение: KV-LTM как акселератор префилла

Авторы предлагают KV-LTM (Key-Value Long-Term Memory) — слой памяти, который хранит не только исходный текст сессии, но и ее KV-кэш (состояния ключей и значений) под фиксированной моделью-читателем. При запросе пользователя система восстанавливает кэш сессии и дописывает вопрос, избегая дорогостоящей операции повторного префилла (re-prefill). Это не замена векторному поиску, а дополнение: текст остается «записью», а кэш — ускорителем без дополнительных вычислений.

Технические детали и затраты

Архитектура опирается на append-only путь чтения и агрегацию с ограничениями. Авторы провели аналитическое моделирование размеров данных для различных конфигураций моделей (BF16 full-attention с GQA и latent-cached MLA). Ниже приведены расчетные метрики хранения для сценария 30 000 токенов в день на одного пользователя:

Параметр Значение / Диапазон Примечание
Размер состояния на токен (GQA/MLA) 31K – 328K байт Зависит от архитектуры внимания
Размер состояния (Hybrid KDA+MLA) ~8.1K байт/токен + фиксированный рекуррентный член на сессию
Объем хранения на пользователя в год 0.34 – 3.6 ТБ При 30K токенов/день
Объем сырого текста (для сравнения) ~49 МБ Текстовая запись без кэша

Протокол оценки и выводы

Для проверки гипотезы разработан протокол, не требующий физической реализации постоянного кэша для логической оценки QA. Он эмулирует повторное использование кэша при соблюдении контракта модели и состояния ввода. Отдельный тест с реальным кэшем подтверждает численное эквивалентность и измеряет ось затрат. KV-LTM предлагает компромисс: мы тратим больше места на хранение (до терабайтов), чтобы избежать вычислительных затрат на префилл и сохранить верность оригиналу на этапе записи.

Источник: arXiv cs.AI ↗