Команда исследователей, включая Панруна Тона и Стивена Хоя, представила MAI-Gym — открытую платформу, объединяющую оценку, сбор данных и онлайн-обучение с подкреплением (Reinforcement Learning) для агентов, управляющих графическим интерфейсом (GUI). Проект решает ключевую проблему масштабирования RL: высокую стоимость интерактивных сред и нехватку реалистичных задач для обучения.
Технические характеристики платформы
MAI-Gym предлагает унифицированный конвейер (rollout pipeline), обеспечивающий согласованность поведения агента как при оценке, так и при обучении. Ключевые особенности инфраструктуры:
- Масштабируемость: Поддержка до 20 000 параллельных экземпляров сред.
- Кросс-платформенность: Единая база для мобильных устройств, компьютеров и веб-окружений.
- Генерация данных: Автоматический синтез разнообразных GUI-приложений, включая «mocked» (имитационные) приложения с возможностью сброса и согласованные кросс-приложения с верифицируемыми задачами.
Результаты модели MAI-Gym-9B
На базе платформы была обучена модель MAI-Gym-9B (9 миллиардов параметров). Она демонстрирует лучшие результаты среди открытых GUI-агентов с размером менее 10B параметров, превосходя аналоги в бенчмарках MobileWorld и OSWorld-Verified.
| Метрика / Бенчмарк | Результат MAI-Gym-9B | Значение |
|---|---|---|
| MobileWorld | 78.4% | Высший балл среди открытых моделей < 10B |
| OSWorld-Verified | 76.2% | Высший балл среди открытых моделей < 10B |
| Перенос в реальность (Mocked → Physical) | 28.8% → 48.1% | Рост успеха задач на физическом телефоне после обучения в симуляторе |
Практическая значимость: Transfer Learning
Особый интерес представляет способность агента переносить навыки из симуляции в реальный мир. В эксперименте с имитационным приложением для покупки билетов обучение в MAI-Gym позволило агенту повысить успешность выполнения задач на реальном физическом телефоне с 28.8% до 48.1%. Это доказывает эффективность синтезированных сред для подготовки к работе в сложных реальных условиях.
Открытые ресурсы
Авторы выложили в открытый доступ:
- Код фреймворка MAI-Gym.
- Чекпоинт модели MAI-Gym-9B.
- Навыки синтеза и имитационные приложения (mocked apps).
- 2 000 верифицированных задач для обучения.
Публикация доступна на arXiv (2610.20939) и направлена на поддержку воспроизводимых исследований в области масштабируемого обучения GUI-агентов.
Источник: arXiv cs.AI ↗