Проблема фрагментации и решение CUA-Lite
Разработка и тестирование компьютерных агентов (Computer-Use Agents, CUA) долгое время страдала от отсутствия единого стандарта: агенты, среды выполнения, траектории данных и инструменты оценки были разбросаны по разным репозиториям с несовместимыми интерфейсами. Команда UC Berkeley выпустила CUA-Lite — платформу, которая ставит все четыре компонента под одно пространство действий, единую схему данных и одну команду интерфейса, поддерживая работу с десктопами, браузерами и мобильными устройствами.
Lite.OSWorld: отказ от виртуализации в пользу Docker
Ключевым нововведением является Lite.OSWorld — замена оригинального OSWorld, который требовал полноценных виртуальных машин QEMU/KVM с поддержкой вложенной виртуализации (/dev/kvm). CUA-Lite воспроизводит те же задачи на рабочем столе GNOME внутри обычного Docker-контейнера. Это радикально снижает требования к инфраструктуре, позволяя запускать агенты на любых хостах с Docker, включая CI-раннеры и облачные инстансы.
| Параметр | OSWorld (оригинал) | Lite.OSWorld (CUA-Lite) |
|---|---|---|
| Среда выполнения | QEMU/KVM VM | Docker контейнер |
| Требования к хосту | /dev/kvm, вложенная виртуализация | Любой Docker-хост |
| Потребление памяти | 4.1 GB | 0.9 GB |
| Время холодного старта | 29.9 s | 23.8 s |
| Параллелизм | Базовый уровень | ~4.6× больше экземпляров |
Важно отметить, что верификация точности показала: оценки 13 различных моделей в Lite.OSWorld полностью совпадают с результатами в оригинальной VM. Это означает, что сигнал обучения, полученный в легковесном контейнере, корректно переносится на реальный бенчмарк.
Единая схема данных LiteSample и интеграция с Hugging Face
Платформа внедряет схему LiteSample — единый формат для обучения с учителем, который объединяет данные из всех сред и агентов. Данные поставляются в виде файлов Parquet с изображениями. Уже предобработаны и опубликованы на Hugging Face более 10 датасетов, включая Aguvis, OpenCUA, ScaleCUA, GUI-360, GUIOdyssey и Multimodal-Mind2Web. Дополнительно генерируются новые данные отката (rollout) с использованием передовых моделей-учителей для дистилляции в более мелкие модели.
Обучение, SFT и RL одной командой
Интерфейс lite.gym позволяет запускать откат и обучение, просто меняя параметры --model-id и --env-id в скрипте scripts/rollout.py. Платформа поддерживает 10+ агентов (GPT, Claude, Gemini, Qwen3-VL, UI-TARS, Fara-7B и др.) и 15+ бенчмарков, охватывающих десктоп (OSWorld, WindowsAgentArena), браузер (WebArena, VisualWebArena) и мобильные платформы (AndroidWorld, MobileGym).
В рамках демонстрации обучения (SFT) модель Qwen3-VL-2B-Instruct была дообучена на траекториях Lite.ScaleCUA. Это позволило повысить средний результат (mean episode return) с 0.138 до 0.237 на наборе из 332 задач. Обучение проводилось на двух GPU. Для обучения с подкреплением (RL) используется алгоритм GRPO поверх Slime, с примером на 416 мобильных задачах.
Масштаб и доступность
Платформа CUA-Lite включает семейство сред: Lite.ScaleCUA, Lite.CUAGym и Lite.CUAWorld (последняя охватывает ~40 приложений, включая Blender, QGIS и VS Code). Всего доступно более 30 000 верифицируемых задач. Установка осуществляется командой uv sync --all-extras на Python 3.12. На данный момент репозиторий не имеет явной лицензии, что требует проверки условий использования для коммерческих проектов.
Источник: MarkTechPost ↗