Проблема неопределенности в запросах
Современные веб-агенты на базе больших языковых моделей (LLM) способны автономно выполнять сложные задачи. Однако в реальной жизни пользователи часто дают расплывчатые инструкции, полагая, что ИИ «поймет контекст» из их предыдущих действий. Существующие бенчмарки не справляются с этой задачей: они либо требуют полностью детализированных промптов, либо упрощают историю браузера до абстрактных форм, теряя личностный контекст.
Что такое PersonaTrail
Команда авторов во главе с Сейнбином Янгом (Seungbin Yang) представила PersonaTrail — новый стандарт для тестирования персонализированных веб-агентов. Ключевая особенность бенчмарка — использование реалистичных траекторий просмотра (browsing trajectories) в качестве истории пользователя. Это позволяет оценивать способность агента:
- Инферировать (выводить) скрытые предпочтения пользователя.
- Восстанавливать информацию из прошлых сессий просмотра.
- Действовать в управляемой, но открытой веб-среде.
Архитектура PACMem
Для решения задачи эффективного хранения и извлечения контекста исследователи предложили фреймворк PACMem (Preference-Aware Contextual Memory). В отличие от простых хранилищ, PACMem разделяет историю на два типа структурированной памяти:
- Factual memories (Фактическая память): суммирует содержание отдельных сессий просмотра.
- Preference memories (Память предпочтений): выделяет повторяющиеся поведенческие паттерны пользователя.
Во время инференса агент извлекает наиболее релевантные записи из этих двух хранилищ, что позволяет ему принимать более персонализированные решения при навигации.
Результаты и значимость
Экстенсивные эксперименты показали, что PACMem стабильно превосходит существующие базовые модели (baselines), основанные на памяти. Это важный шаг к созданию ИИ-ассистентов, которые не просто выполняют команды, а действительно «помнят» и учитывают индивидуальность пользователя, снижая когнитивную нагрузку на человека при формулировке запросов.
Источник: arXiv cs.AI ↗