Суть проблемы: разделение извлечения и использования
Классические бенчмарки для Memory-Agents часто объединяют два этапа в один метрику: поиск (retrieval) и генерацию ответа (generation). Это скрывает истинную причину ошибок. Авторы работы "When Retrieval Is Not Enough: Obsolete Facts in Agent Memory" (принято в NeurIPS 2026 Workshop on PALM) используют задачу FactConsolidation из MemoryAgentBench, чтобы изолировать проблему: модель получает правильный, самый свежий факт, но всё равно отвечает неверно.
Ключевые метрики и бенчмарки
Эксперименты проводились на моделях Qwen2.5-7B-Instruct и Qwen3-14B. Основной вывод: увеличение объема контекста (retrieved evidence) не всегда помогает, а иногда вредит, если в этом контексте есть противоречащие устаревшие данные.
| Модель / Условие | Метрика (BM25 Accuracy) | Наблюдение |
|---|---|---|
| Qwen2.5-7B (64 токена) | 45% | Базовая точность при малом контексте |
| Qwen2.5-7B (512 токенов) | 32% | Точность падает при росте контекста |
| Qwen2.5-7B (контроль: 1 устар. факт) | 44.6% | Замена нейтрального факта на устаревший снижает точность с 100% до 44.6% |
| Qwen3-14B (контроль: 1 устар. факт) | 87.8% | Более крупная модель устойчивее, но всё же теряет точность с 100% до 87.8% |
| Qwen2.5-7B (32K история, BM25-64) | 69% | Лучший результат при коротком чанке в длинной истории |
| Qwen2.5-7B (32K история, BM25-512) | 58% | Результат хуже, чем при BM25-64 |
Почему это важно для разработчиков RAG
Аудит с использованием «золотого стандарта» (gold-assisted post-hoc audit) показал, что самый новый (gold) факт присутствовал во всех наборах данных, даже когда модель ошибалась. Это доказывает, что проблема не в том, что система не нашла нужную информацию, а в том, как LLM обрабатывает конфликтующие сигналы.
- Эффект «шума»: Устаревший факт, конкурирующий с актуальным, наносит больший ущерб точности, чем просто нерелевантный текст того же объема.
- Масштабируемость: В сценариях с длинной историей (32K токенов) стратегия выбора меньшего количества, но более релевантных чанков (BM25-64) превзошла стратегию с большим охватом (BM25-512).
Вывод
Простого извлечения (retrieval) недостаточно для надежных Memory-Agents. Необходимы механизмы явного разрешения конфликтов (conflict resolution) или фильтрации устаревших фактов на этапе подготовки контекста, так как современные LLM склонны «забывать» или игнорировать новые факты в присутствии старых, даже если они явно выделены в промпте.
Источник: arXiv cs.AI ↗