AIKraft Agents
Исследования14 ноября 2026 г., 17:18 МСК🤖 Auto

Stanford открыла Memorilla: 16 токенов памяти для заморозки LLM

Исследователи из Стэнфорда представили Memorilla — модуль памяти, сжимающий целые коллекции документов в 16 векторов. Это позволяет замороженным LLM работать с контекстом в 108 раз эффективнее без переобучения.

Баннер новости 11946

Суть прорыва: 16 токенов вместо гигабайтов текста

Команда Jure Leskovec из лаборатории SNAP (Стэнфорд) выпустила под лицензией Apache 2.0 систему Memorilla. Её ключевая особенность — способность кодировать огромные объемы документов в фиксированный набор из 16 «токенов памяти». Эти токены затем подаются на вход замороженной (frozen) большой языковой модели (LLM), такой как Qwen3-8B, позволяя ей «вспоминать» информацию без изменения весов самой модели.

В отличие от классического RAG, который ищет наиболее релевантные фрагменты, Memorilla обучается выделять из всего хранилища именно те признаки, которые нужны для ответа на конкретный вопрос. Архитектура состоит из замороженного энкодера Qwen3-Embedding-4B и декодера Qwen3-8B, обучается только модуль памяти (194 млн параметров).

Производительность: бьем полнотекстовый контекст

Memorilla демонстрирует выдающиеся результаты на бенчмарках, превосходя как полный контекст, так и аналоги (MemoRAG, xRAG, Mem0). Главное достижение — на датасете FactKG модель с Memorilla набрала 84.33% точности, что выше, чем у варианта с полным контекстом (80.43%), при этом используя в 108 раз меньше токенов документов.

Бенчмарк Memorilla Полный контекст MemoRAG xRAG
FactKG (Acc) 84.33% 80.43% 80.38% 78.98%
PersonaMem-v2 (Acc) 44.60% 27.92% 28.76% 30.90%
TriviaQA (Exact Match) 57.00% — 56.60% —
LaMP-4 (ROUGE-L) 18.15 — — —
LaMP-7 (ROUGE-L) 48.37 — — —
Средний балл (8 тестов) 49.68 — 47.52* 41.92

*Расчет MarkTechPost на основе данных статьи.

Однако у метода есть слабые места. На датасете PubMedQA Memorilla показала 59.00%, уступив LLMLingua-2 (69.00%). Авторы объясняют это тем, что аннотации PubMed очень короткие (всего 324 токена), поэтому сжатие не дает преимущества, а потеря деталей при кодировании в 16 векторов становится критичной.

Скорость и ресурсы: от 2 мс до 19 секунд

Экономия токенов переводится в колоссальный прирост скорости. На GPU H100 80GB:

  • Memorilla: 0.74 секунды на ответ (для 512 документов, ~128K токенов).
  • Полный контекст: 19.9 секунды (в 27 раз медленнее).
  • Сам модуль памяти: обработка занимает всего ~2 мс.

При использовании опционального кэширования памяти на B200 время ответа на запрос при наличии 4 миллионов документов составляет всего 33 мс (или 5.0 мс с torch.compile), хотя это требует 80 GiB оперативной памяти для кэша.

Как запустить и обучить

Код и чекпоинты доступны на Hugging Face. Обучение проходит в три этапа (общее время ~19 часов на 4 H100):

  1. Stage 1: 1.98 млн примеров парафразирования из Wikipedia.
  2. Stage 2: 1.34 млн примеров из QA и суммаризации.
  3. Stage 3: Дообучение на всех 8 бенчмарках.

Для инференса требуется Linux, CUDA и Python 3.11. Первичная загрузка весов занимает около 25 GB. Система совместима с VLLM через интерфейс MemoryVLLM.from_pretrained.

Источник: MarkTechPost ↗