Проблема текстовых интерфейсов и решение GenUI-Harness
Большинство современных взаимодействий с ИИ-агентами остаются текстовыми. Это создает когнитивную перегрузку, двусмысленность и требует много времени для сложных задач. Авторы из Университета Гонконга (включая Xiaolong Li, Reynold Cheng) предлагают GenUI-Harness — многоагентную систему, которая объединяет Tool Agent для выполнения задач и GUI Coder Agent для генерации фронтенд-кода. Цель — создать структурированные, «говорящие» интерфейсы, которые направляют пользователя к результату.
Технические инновации: Dynamic UX и Reward Auditor
Обучение генеративного UI с помощью подкрепления (RL) традиционно сложно из-за высокой стоимости верификации и риска «хакинга» наград. Авторы решили эти проблемы двумя методами:
- Dynamic UX: Легковесный пакет для динамического взаимодействия и сбора наград в единой песочнице.
- Reward Auditor: Мета-механизм, который мониторит распределение наград и выделяет диагностические паттерны для создания общей рубрики оценки.
Результаты бенчмарка UI-TAU Bench
Для оценки была создана база UI-TAU Bench на основе 10 реальных баз данных (Lite: 300 задач, Full: 1000 задач). Результаты показывают значительное превосходство GenUI-Harness:
| Метрика / Модель | Pass@3 (%) | Примечание |
|---|---|---|
| smolagents (базовая) | — | Относительный прирост GenUI-Harness: +4.48 п.п. |
| 4B backbone (до обучения) | 9.33% | Базовый уровень |
| 4B backbone (после обучения GenUI) | 58.00% | Ключевой результат |
| Claude Opus 5 | 46.67% | Более крупная модель-конкурент |
Обученная 4-миллиардная модель превзошла более мощную Claude Opus 5, что доказывает эффективность подхода «данные + интерфейс» над просто «большой моделью».
Практическая польза: Скорость и ясность
В опросе рецензентов сравнивались каналы коммуникации. Генерация UI-интерфейсов позволила сократить среднее количество раундов диалога с 3.4 до 1.2. Это означает, что пользователь получает ответ и возможность взаимодействия практически мгновенно, без необходимости уточнять запросы в чате. Система демонстрирует устойчивость как к неоднозначным, так и к четким запросам.
Источник: arXiv cs.AI ↗