AIKraft Agents
Главная/Блог/Обзор/Memorilla: 16 токенов памяти для…
Обзор4 мин чтения · 15 ноября 2026 г.

Memorilla: 16 токенов памяти для Qwen3-8B вместо гигабайтов контекста

Стэнфордский проект Memorilla позволяет замороженным LLM работать с огромными базами знаний, используя всего 16 скрытых токенов. Разбираем бенчмарки, требования к VRAM и инструкцию по запуску.

Memorilla: 16 токенов памяти для Qwen3-8B вместо гигабайтов контекста

Исследователи из Стэнфорда (группа SNAP под руководством Жюре Лесковца) представили Memorilla — систему скрытой памяти для больших языковых моделей. В отличие от классического RAG, где в контекст загружаются целые документы, Memorilla сжимает всю коллекцию документов в фиксированный набор из 16 векторов-токенов. Эти токены «встраиваются» в замороженную LLM, позволяя ей отвечать на вопросы по всей базе данных без увеличения окна контекста.

Решение работает на базе Qwen3-8B (декодер) и Qwen3-Embedding-4B (энкодер). Модель обучена на 194 млн параметров, при этом сами LLM остаются замороженными (frozen). Код и чекпоинты опубликованы под лицензией Apache 2.0.

01Как это работает: архитектура и обучение

Процесс состоит из трех этапов. Сначала энкодер один раз преобразует документы в эмбеддинги. Затем модуль памяти (16 слотов) через два слоя кросс-аттенции с 8 заголовками «читает» вопрос и всю базу, формируя 16 скрытых токенов. Наконец, эти токены проецируются в пространство входных эмбеддингов Qwen3-8B и добавляются перед вопросом.

Обучение проходит в три этапа на общей выборке из ~3.3 млн примеров (парафразы Wikipedia, QA-датасеты и бенчмарки). Полный цикл занимает около 19 часов на 4 GPU H100.

💡
Ключевое преимущество. Memorilla не требует перекодировки документов при добавлении новых данных. Энкодер используется только один раз, а модуль памяти адаптируется к вопросу в реальном времени.

02Бенчмарки: точность против объема данных

Memorilla демонстрирует выдающиеся результаты на датасетах, требующих работы с большими объемами текста. На FactKG замороженная Qwen3-8B с Memorilla достигает 84.33% точности, превосходя вариант с полным контекстом (80.43%) и MemoRAG (80.38%). При этом используется в 108 раз меньше токенов документов.

В таблице ниже приведено сравнение средних результатов по 8 бенчмаркам:

Метод Средний балл (8 бенчмарков) FactKG (Acc) PersonaMem-v2 (Acc) PubMedQA (Acc)
Memorilla 49.68 84.33 44.60 59.00
MemoRAG 47.52 80.38 28.76 67.00
xRAG 41.92 78.98 30.90 36.00
Mem0 38.02 72.79 27.48 24.00

Слабое место Memorilla — датасет PubMedQA (59.00% против 69.00% у LLMLingua-2). Это связано с тем, что абстракты статей там очень короткие (всего 324 токена), поэтому сжатие не дает преимущества. Также Memorilla уступает MemoRAG в персонализации (PersonalizationV4) и NarrativeQA, где соперники использовали в сотни раз больше токенов документов.

03Скорость и требования к железу

На GPU NVIDIA H100 80GB Memorilla обрабатывает запрос к 512 документам (~128K токенов) за 0.74 секунды. Для сравнения, передача полного контекста в модель замедляет ответ до 19.9 секунд (в 27 раз медленнее). Сам модуль памяти вычисляется за ~2 мс.

Для работы с огромными базами (до 4 млн документов) доступен кэш памяти. На B200 время ответа составляет 8.1 мс для 1 млн документов и 33 мс для 4 млн. Однако кэш требует 80 GiB VRAM для 4 млн документов. Оптимизация через torch.compile снижает время до 5.0 мс для 1 млн документов.

⚠️
Важно про VRAM. Для быстрого старта требуется один GPU с 80 GB памяти (H100/A100). Квантованные версии пока не опубликованы, поэтому запуск на потребительских картах (24GB) может потребовать сложной оптимизации или не будет возможен для полной модели.

04Установка и запуск

Система работает на Linux с CUDA и Python 3.11. Установка осуществляется через менеджер uv. Чекпоинты находятся на Hugging Face в репозитории memorilla/Memorilla-Qwen3-8B (папки Stage 1, 2, 3, PV4, PMv2).

Первый запуск скачает около 25 GB моделей. Важно: каждый чекпоинт должен использоваться с тем декодером, на котором он обучался.

Пример инициализации и загрузки модели:

terminalpython
from memorilla import MemoryVLLM

# Загрузка предобученного модуля памяти
# Модель автоматически скачает веса с Hugging Face (~25GB)
memory_module = MemoryVLLM.from_pretrained("memorilla/Memorilla-Qwen3-8B")

# Пример подготовки данных (формат Parquet)
# Требуемые колонки: collection_id, question, answer, documents
df = pd.read_parquet("your_data.parquet")

# Инференс
response = memory_module.generate(query="Ваш вопрос", documents=df["documents"])

Для кастомных данных требуется структура Parquet с колонками collection_id, question, answer и documents. Также доступна датасет PersonalizationV4 (149 синтетических пользователей) под лицензией CC BY 4.0.

05Кому подойдёт / что запустится

  • Исследователи и энтузиасты RAG: Если вы уперлись в лимиты контекстного окна или стоимость прокси-инференса при больших объемах документов, Memorilla предлагает альтернативу классическому векторному поиску.
  • Агенты с долгой памятью: Использование 8 токенов памяти для Qwen3-4B в задачах TextWorld повысило успешность агентов с 18.6% до 24.2%.
  • Железо: Требуется сервер с NVIDIA GPU (минимум 80GB VRAM для комфортной работы без квантования). На домашних ПК с 24GB VRAM запуск полной модели в текущем виде затруднен.
  • Сценарии: Идеально для баз знаний с тысячами документов, где важно сохранить целостность фактов (FactKG), но плохо подходит для коротких справочных запросов (PubMedQA), где лучше работают методы сжатия.

Источник: MarkTechPost ↗