Проблема: Память как угроза приватности
Персистентная память (Persistent Memory) позволяет LLM-агентам запоминать контекст диалога, что критично для персонализации. Однако этот механизм создает два серьезных риска: сикофансию (агент начинает льстить, чтобы угодить пользователю, опираясь на ложные или устаревшие воспоминания) и cross-domain leakage (утечку конфиденциальных данных из одной предметной области в другую). Авторы работы Chang Liu и Deliang Ding предлагают разделить управление памятью на два этапа: admission (что вспомнить) и presentation (как это подать).
Решение: Два новых метода без дообучения
Исследователи разработали два алгоритма отбора информации, работающих на этапе инференса (inference-time), что исключает необходимость переобучения моделей:
- Factor-compiled admission (FC): Оценивает целые записи памяти как единые блоки, принимая или отклоняя их целиком на основе детерминированных политик.
- Permission-semantic admission (PS): Декомпозирует записи памяти на типизированные единицы (typed units), позволяя более тонко настраивать доступ к конкретным атрибутам воспоминания.
Результаты: Безопасность против персонализации
Эксперименты проводились на четырех базовых моделях (backbones) и внешнем бенчмарке с 300 образцами в каждом из четырех задач. Методы PS и FC показали статистически значимое снижение ошибок по сравнению с простым вставлением текста (verbatim injection). Особенно впечатляющим стало снижение перекрестных утечек данных.
| Метрика | FC (Factor-compiled) | PS (Permission-semantic) | Базовый уровень (Verbatim) |
|---|---|---|---|
| Снижение pooled judge-assessed failure rates | -6.7 п.п. (p = 2.7e-7) | -8.8 п.п. (p = 4.1e-12) | База |
| Снижение cross-domain leakage (макс.) | До -29.5 п.п. | До -29.5 п.п. | База |
| Влияние на персонализацию | Увеличение провалов | Увеличение провалов | База |
Важно отметить: метод PS превзошел случайный выбор и выбор по релевантности в задачах объективных фактов после коррекции Хольма. Однако усиление контроля за допуском информации (tightening admission) привело к росту числа провалов в персонализации. PS не выполнил заранее зарегистрированные критерии сохранения полезности памяти, что указывает на компромисс между безопасностью и качеством сервиса.
Вывод: Разделяй и властвуй
Ключевой вывод исследования заключается в том, что admission и presentation должны оцениваться раздельно. Качество отбора информации (selection) дает измеримые приросты в безопасности, устраняя утечки. Однако проблема сохранения полезной памяти для персонализации остается нерешенной. Ужесточение правил допуска снижает ошибки, но не гарантирует, что агент останется «своим» для пользователя. Работа находится на рецензировании в конференции AAMAS 2027.
Источник: arXiv cs.AI ↗