Проблема: шум контекста и последовательное отвлечение
Современные GUI-агенты обрабатывают потоковые данные: скриншоты, аудио, видео и историю взаимодействий. Однако релевантность информации преходяща. В 45,3% соседних шагов доминирующий модальность меняется, а в 94% эпизодов происходит переключение. При этом целевой элемент занимает в среднем лишь 0,87% экрана. Одновременная обработка всех сигналов создает «последовательное отвлечение» (Sequential Distraction), когда нерелевантные данные накапливают ошибки, уводя агента с верного траектории.
Решение: FocusGUI как легкий адаптер
FocusGUI — это адаптер, который динамически приоритизирует мультимодальные каналы относительно текущего решения. Он не требует дообучения основной модели (backbone). Механизм работает по трем принципам:
- Step-adaptive: Оценка семи каналов (текст, экран, аудио, видео и др.) против референса решения на каждом шаге.
- Action-sufficient: Сжатие релевантных данных в компактный латент размерностью 64 измерения.
- Non-intrusive: Добавление residual-связи к четырем позициям prompt-эмбеддингов декодера. Параметры энкодеров и декодера остаются замороженными.
Результаты на бенчмарке OmniGUI
Тестирование проводилось на 29 приложениях, 708 эпизодах и 2 572 шагах действий. FocusGUI обучался только через надзор за следующим действием (next-action supervision) в течение трех эпох. Ниже приведены сравнительные метрики для четырех мультимодальных бэкбонов:
| Метрика | Улучшение над frozen backbone | Улучшение над лучшим методом | Примечание |
|---|---|---|---|
| Overall Type Match | +33.2% | +30.1% (vs strongest existing) | Среднее по четырем бэкбонам |
| Overall Exact Match | 3.0× | — | Кратное увеличение точности |
| Stability (Step 1 vs Step 4+) | Сохранение 86.8% начальной точности | — | Для Qwen2.5-Omni: падение без FocusGUI с 64.79% до 32.79% |
Динамика внимания и выводы
Абляционные исследования показывают, что адаптивный выбор каналов и residual-выравнивание критически важны. Агенты с FocusGUI демонстрируют меньший дрейф траектории: если точность замороженного Qwen2.5-Omni падает к 4-му шагу, то с адаптером она остается стабильной. Приоритеты модальностей меняются по ходу задачи: на старте доминирует состояние взаимодействия, затем — аудио и видео. Это позволяет агенту «слушать перед действием», избегая ошибок на визуально похожих, но семантически разных интерфейсах.
Источник: Github ↗