Исследователи из Стэнфорда (группа SNAP под руководством Жюре Лесковца) представили Memorilla — систему скрытой памяти для больших языковых моделей. В отличие от классического RAG, где в контекст загружаются целые документы, Memorilla сжимает всю коллекцию документов в фиксированный набор из 16 векторов-токенов. Эти токены «встраиваются» в замороженную LLM, позволяя ей отвечать на вопросы по всей базе данных без увеличения окна контекста.
Решение работает на базе Qwen3-8B (декодер) и Qwen3-Embedding-4B (энкодер). Модель обучена на 194 млн параметров, при этом сами LLM остаются замороженными (frozen). Код и чекпоинты опубликованы под лицензией Apache 2.0.
01Как это работает: архитектура и обучение
Процесс состоит из трех этапов. Сначала энкодер один раз преобразует документы в эмбеддинги. Затем модуль памяти (16 слотов) через два слоя кросс-аттенции с 8 заголовками «читает» вопрос и всю базу, формируя 16 скрытых токенов. Наконец, эти токены проецируются в пространство входных эмбеддингов Qwen3-8B и добавляются перед вопросом.
Обучение проходит в три этапа на общей выборке из ~3.3 млн примеров (парафразы Wikipedia, QA-датасеты и бенчмарки). Полный цикл занимает около 19 часов на 4 GPU H100.
02Бенчмарки: точность против объема данных
Memorilla демонстрирует выдающиеся результаты на датасетах, требующих работы с большими объемами текста. На FactKG замороженная Qwen3-8B с Memorilla достигает 84.33% точности, превосходя вариант с полным контекстом (80.43%) и MemoRAG (80.38%). При этом используется в 108 раз меньше токенов документов.
В таблице ниже приведено сравнение средних результатов по 8 бенчмаркам:
| Метод | Средний балл (8 бенчмарков) | FactKG (Acc) | PersonaMem-v2 (Acc) | PubMedQA (Acc) |
|---|---|---|---|---|
| Memorilla | 49.68 | 84.33 | 44.60 | 59.00 |
| MemoRAG | 47.52 | 80.38 | 28.76 | 67.00 |
| xRAG | 41.92 | 78.98 | 30.90 | 36.00 |
| Mem0 | 38.02 | 72.79 | 27.48 | 24.00 |
Слабое место Memorilla — датасет PubMedQA (59.00% против 69.00% у LLMLingua-2). Это связано с тем, что абстракты статей там очень короткие (всего 324 токена), поэтому сжатие не дает преимущества. Также Memorilla уступает MemoRAG в персонализации (PersonalizationV4) и NarrativeQA, где соперники использовали в сотни раз больше токенов документов.
03Скорость и требования к железу
На GPU NVIDIA H100 80GB Memorilla обрабатывает запрос к 512 документам (~128K токенов) за 0.74 секунды. Для сравнения, передача полного контекста в модель замедляет ответ до 19.9 секунд (в 27 раз медленнее). Сам модуль памяти вычисляется за ~2 мс.
Для работы с огромными базами (до 4 млн документов) доступен кэш памяти. На B200 время ответа составляет 8.1 мс для 1 млн документов и 33 мс для 4 млн. Однако кэш требует 80 GiB VRAM для 4 млн документов. Оптимизация через torch.compile снижает время до 5.0 мс для 1 млн документов.
04Установка и запуск
Система работает на Linux с CUDA и Python 3.11. Установка осуществляется через менеджер uv. Чекпоинты находятся на Hugging Face в репозитории memorilla/Memorilla-Qwen3-8B (папки Stage 1, 2, 3, PV4, PMv2).
Первый запуск скачает около 25 GB моделей. Важно: каждый чекпоинт должен использоваться с тем декодером, на котором он обучался.
Пример инициализации и загрузки модели:
from memorilla import MemoryVLLM
# Загрузка предобученного модуля памяти
# Модель автоматически скачает веса с Hugging Face (~25GB)
memory_module = MemoryVLLM.from_pretrained("memorilla/Memorilla-Qwen3-8B")
# Пример подготовки данных (формат Parquet)
# Требуемые колонки: collection_id, question, answer, documents
df = pd.read_parquet("your_data.parquet")
# Инференс
response = memory_module.generate(query="Ваш вопрос", documents=df["documents"])Для кастомных данных требуется структура Parquet с колонками collection_id, question, answer и documents. Также доступна датасет PersonalizationV4 (149 синтетических пользователей) под лицензией CC BY 4.0.
05Кому подойдёт / что запустится
- Исследователи и энтузиасты RAG: Если вы уперлись в лимиты контекстного окна или стоимость прокси-инференса при больших объемах документов, Memorilla предлагает альтернативу классическому векторному поиску.
- Агенты с долгой памятью: Использование 8 токенов памяти для Qwen3-4B в задачах TextWorld повысило успешность агентов с 18.6% до 24.2%.
- Железо: Требуется сервер с NVIDIA GPU (минимум 80GB VRAM для комфортной работы без квантования). На домашних ПК с 24GB VRAM запуск полной модели в текущем виде затруднен.
- Сценарии: Идеально для баз знаний с тысячами документов, где важно сохранить целостность фактов (FactKG), но плохо подходит для коротких справочных запросов (PubMedQA), где лучше работают методы сжатия.
Источник: MarkTechPost ↗
