Проблема: Отсутствие навигационной памяти у GUI-агентов
Современные мобильные GUI-агенты способны воспринимать экраны и выполнять локальные действия, но им не хватает персистентных знаний о структуре приложений. Они не запоминают, где находятся функции, какие страницы содержат нужные элементы и какие экраны эквивалентны при повторных визитах. Это заставляет агентов заново исследовать интерфейс для каждой новой задачи, что неэффективно и замедляет выполнение операций.
Решение: TAG-Nav и DestBench
Авторы (Adamo Orsini, Seyed Mehdi Ayyoubzadeh и др.) представили TAG-Nav (Task-Agnostic Graph Navigation) — фреймворк, который оборачивает существующие GUI-агенты в систему переиспользуемой памяти. В офлайн-режиме исследование приложения дистиллируется в компактные записи функций, целевых страниц и маршрутов. При поступлении новой задачи система извлекает маршрут к нужному экрану, отделяя навигацию от выполнения самой задачи (например, покупки или удаления данных).
Для оценки чистого навыка навигации без влияния последующих действий введена метрика DestBench. Она проверяет, достигает ли агент правильного целевого экрана до начала выполнения задачи.
Результаты: Влияние графовой памяти на точность
Эксперименты показали, что качество графа напрямую влияет на успех навигации. Использование автоматического поиска в ширину (BFS) для формирования графовой памяти значительно улучшает показатели по сравнению с агентами без памяти. Ниже приведены результаты на базе DestBench:
| Модель агента | Без графовой памяти | С графовой памятью (BFS) | Прирост |
|---|---|---|---|
| UI-TARS-1.5-7B | 52.4% | 58.3% | +5.9% |
| Qwen-VL-Max | 59.5% | 71.4% | +11.9% |
Результаты демонстрируют, что покрытие назначения и чистота маршрута являются ключевыми факторами, определяющими ценность графовой памяти. Исследование принято к публикации в Findings of AACL-IJCNLP 2026.
Источник: arXiv cs.AI ↗