Проблема RAG: дорого и медленно
Retrieval-augmented generation (RAG) позволяет большим языковым моделям (LLM) отвечать на вопросы, выходящие за рамки обучающих данных. Однако этот подход требует постоянного доступа к внешним базам знаний, что увеличивает задержки и затраты на хранение. Альтернатива — дистилляция этих знаний в параметрическую память (веса модели), но старые методы часто ухудшали качество ответов, пытаясь имитировать работу ретривера.
Решение: ResMem и аддитивный остаток
Команда авторов (Changjiang Han, Bowei He и др.) предложила архитектуру ResMem. Ключевая инновация — использование самой LLM в качестве «учителя» в офлайн-режиме. Модель читает извлеченный текст и генерирует целевые логиты. Затем параметрическая память обучается предсказывать аддитивный логитный остаток (additive logit residual). Это позволяет «студенту» (базовой LLM) скорректировать свои предсказания, не переписывая их полностью, и сохранить распределение, близкое к распределению учителя.
Ключевые метрики и сравнения
Метод показал высокую эффективность на подмножестве Wikipedia и пяти наборах данных для вопросов и ответов (QA). Ниже приведено сравнение базовой замороженной LLM и ResMem:
| Метрика | Замороженная LLM (Baseline) | ResMem (Proposed) | Примечание |
|---|---|---|---|
| Mean Token F1 | 32.83% | 34.48% | Рост точности |
| Снижение ошибок | — | 21% меньше | Сравнение с kNN-trained memory |
| Экономия хранилища | — | 94.7% | Против kNN datastores (MLP Memory) |
Почему это важно
ResMem доказывает, что извлеченные данные можно использовать не как временный контекст, а как источник для обучения. Отказ от хранения massive token representations (как в kNN-подходах) делает систему значительно легче. Код и веса модели уже доступны, что открывает путь к созданию более быстрых и автономных LLM-агентов.
Источник: arXiv cs.CL ↗