Проблема «потери» контекста в долгосрочной памяти
Агенты, взаимодействующие с пользователями годами, сталкиваются с критической проблемой: как хранить и извлекать факты, предпочтения и события из непрерывно растущей истории? Существующие системы часто сжимают диалоги в общие саммари или извлекают анонимные фрагменты текста. Это приводит к тому, что модель не может точно идентифицировать сущность, свойство или источник информации, что вызывает галлюцинации и ошибки в ответах.
Решение: EnSIMem и структура [Сущность][Тип][Свойство]
Команда разработчиков во главе с Сюанью Мэном (Xuanyu Meng) из Университета Иллинойса в Урбаней-Шампейн представила EnSIMem — архитектуру, которая организует историю взаимодействий в тематически связанные эпизоды. Ключевая инновация заключается в офлайн-построении индекса, где каждый элемент имеет строгую структуру:
- [Entity] (Сущность)
- [Entity Type] (Тип сущности)
- [Property: Value] (Свойство и значение)
Каждая запись сохраняет исходные реплики диалога, временные метки и мультимодальные данные. Это позволяет агенту не полагаться на «потерянные» саммари, а генерировать ответы на основе сохраненных исходных доказательств (provenance).
Механика работы: От запроса к доказательству
В процессе онлайн-взаимодействия запрос пользователя декомпозируется на требования к доказательствам. Система использует адаптивный поиск для сбора информации, необходимой для четырех типов рассуждений:
- Point reasoning (Точечные вопросы: «Кто это?»)
- Temporal reasoning (Временные: «Когда это произошло?»)
- Compositional reasoning (Составные: «Что изменилось?»)
- Aggregation reasoning (Агрегация: «Сколько всего?»)
Результаты и эффективность
На бенчмарках для долгосрочной памяти агентов EnSIMem демонстрирует высокую точность ответов при сохранении компактного контекста. Архитектура обеспечивает благоприятную онлайн-эффективность, что делает её пригодной для реального использования в сложных сценариях. Код модели уже доступен для сообщества.
| Характеристика | Традиционные подходы | EnSIMem |
|---|---|---|
| Структура данных | Анонимные чанки текста / Саммари | Индекс по сущностям [Entity:Property:Value] |
| Источник ответа | Сжатый контекст (потеря деталей) | Исходные реплики (provenance) |
| Типы рассуждений | Ограниченные | Точечные, временные, составные, агрегация |
| Точность | Снижается с ростом истории | Высокая при компактном контексте |
Значение для индустрии
EnSIMem закладывает фундамент для создания надежных долгосрочных агентов. Переход от «поиска по ключевым словам» к «поиску по сущностям и свойствам» решает одну из главных болей в разработке AI-ассистентов: способность помнить детали о пользователе и контексте без деградации качества ответов со временем.
Источник: arXiv cs.AI ↗