trycua/cua

Open-source инфраструктура для Computer-Use Agents. Песочницы, SDK и бенчмарки для обучения и оценки AI-агентов, управляющих полными рабочими столами (macOS, Linux, Windows).

Агенты⭐ 25 319HTMLпоследний релиз: sandbox-v0.8.0

Открыть на GitHub ↗Сайт проекта ↗

Что это за инструмент

Cua — это open-source инфраструктура для создания, обучения и оценки AI-агентов, способных управлять полными рабочими столами (macOS, Linux, Windows) через унифицированный API.

Зачем нужен

Инструмент решает задачу предоставления агентам доступа к графическому интерфейсу и операционной системе, позволяя им видеть экраны, кликать мышью и вводить текст. Он полезен для разработчиков, строящих автономных агентов, так как предоставляет готовые песочницы (sandboxes), драйверы для фоновой работы и инструменты для бенчмаркинга.

Что можно реализовать

Интеграция агентов (например, через MCP) в IDE вроде Claude Code или Cursor для выполнения задач на рабочем столе в фоновом режиме без перехвата фокуса.
Запуск и тестирование AI-агентов в изолированных средах (контейнеры или VM) на любых ОС с использованием единого Python SDK.
Оценка производительности моделей computer-use агентов на стандартных датасетах (OSWorld, ScreenSpot) с экспортом траекторий для обучения.
Создание виртуальных машин macOS на Apple Silicon с производительностью, близкой к нативной, для нужд агентов.

Ключевые возможности

Cua Drivers: управление приложениями в фоне на macOS/Windows/Linux через CLI и MCP-сервер.
Cua Sandbox: унифицированный API для взаимодействия с экраном, мышью, клавиатурой и shell в любых ОС.
Cua Bench: набор бенчмарков и RL-окружений для оценки и обучения агентов.
Lume: инструмент для виртуализации macOS на Apple Silicon.
Поддержка облачных и локальных сред (QEMU), включая Android.

👤 Кому подойдёт: разработчики AI-агентов, исследователи в области машинного обучения, инженеры по оценке моделей (RLHF/RLAIF)

Релизы

sandbox-v0.8.0minor

🕐 5 дн назад · релиз на GitHub ↗

Добавлена поддержка OSWorld дисков через Fleet с новым агентом, исправлена сериализация размеров изображений.

Added: Появилась поддержка дисков OSWorld в Fleet через параметр agent_type="osworld" и новое руководство по запуску.
Fixed: Исправлена ошибка, из-за которой размеры файлов изображений некорректно сериализовались в JSON.

npm-fleet-v0.1.2patch

🕐 10 дн назад · релиз на GitHub ↗

Техническое обслуживание: обновлены зависимости в пакете @trycua/fleet без изменения функциональности.

Обновлены зависимости проекта.

fleet-v0.1.17patch

🕐 10 дн назад · релиз на GitHub ↗

Техническое обновление версии fleet-v0.1.17, включающее только обновление зависимостей без изменений функционала.

Обновлены зависимости проекта для поддержания актуальности и стабильности.

computer-server-v0.3.46patch

🕐 11 дн назад · релиз на GitHub ↗

Исправлено сохранение состояния драйвера, восстановление сессий и добавлена опция для принудительной отправки Caps Lock.

Fixed: Исправлено сохранение состояния драйвера и привязка источника выпуска.
Fixed: Восстановлена работа сессий драйвера в режиме ожидания.
Added: Добавлен флаг --vnc-force-caps для серверов, отбрасывающих нажатия Shift.

npm-fleet-v0.1.1patch

🕐 19 дн назад · релиз на GitHub ↗

Техническое обновление зависимостей для пакета @trycua/fleet без новых функций и изменений API.

Обновлены зависимости проекта для поддержания актуальности и стабильности.
Релиз не содержит новых функций, исправлений ошибок или ломающих изменений.

fleet-v0.1.16patch

🕐 19 дн назад · релиз на GitHub ↗

Техническое обновление с обновлением зависимостей без изменений функционала.

Обновлены зависимости проекта.

computer-server-v0.3.45patch

🕐 24 дн назад · релиз на GitHub ↗

Техническое обслуживание: обновлены зависимости без изменений функционала.

Обновлены зависимости проекта.

npm-core-v0.1.5minor

🕐 24 дн назад · релиз на GitHub ↗

Версия 0.1.5: добавлена поддержка интерактивного терминала (PTY) и применены обновления безопасности зависимостей.

Added: Добавлена поддержка интерактивного терминала (PTY) с тестами для cua-auto, computer-server, computer и CLI.
Fixed: Применено обновление безопасности зависимостей (security dependency rollup).
Обновлен пакет @trycua/core до версии 0.1.5.

sandbox-v0.4.3minor

🕐 1 мес назад · релиз на GitHub ↗

Версия 0.4.3: добавлена поддержка локального Linux на ARM64 в cua-sandbox.

Added: cua-sandbox теперь поддерживает локальный запуск на архитектуре ARM64 под Linux.
Added: Обновлены версии компонентов: cua-sandbox до 0.4.3 и cua-cli до 0.1.15.

sandbox-v0.4.2minor

🕐 1 мес назад · релиз на GitHub ↗

В версии sandbox-v0.4.2 добавлена возможность настраивать TTL для пулов и заявок в cua-sandbox.

Added: В cua-sandbox добавлена экспозиция параметра создания TTL для пулов и заявок.

sandbox-v0.4.1patch

🕐 1 мес назад · релиз на GitHub ↗

Исправлена ошибка PoolAccessDenied в cua-sandbox путём обновления cua-fleet до версии 0.1.12.

Fixed: Исправлена ошибка PoolAccessDenied в cua-sandbox через обновление cua-fleet до версии 0.1.12.

fleet-v0.1.11patch

🕐 1 мес назад · релиз на GitHub ↗

Техническое обновление версии fleet-v0.1.11, включающее только обновление зависимостей без изменений функционала.

Релиз содержит исключительно обновления зависимостей.

sandbox-v0.3.4patch

🕐 1 мес назад · релиз на GitHub ↗

Техническое обновление версии sandbox-v0.3.4, включающее только обновление зависимостей без функциональных изменений.

Релиз содержит исключительно обновления зависимостей.

sandbox-v0.3.2patch

🕐 1 мес назад · релиз на GitHub ↗

Исправлена работа Image.expose() в постоянных локальных песочницах.

Fixed: Исправлена ошибка, из-за которой Image.expose() не работал в постоянных локальных песочницах.

sandbox-v0.3.1patch

🕐 1 мес назад · релиз на GitHub ↗

Техническое обновление: обновлены зависимости без изменения функциональности.

Обновлены зависимости проекта.

lume-v0.5.3patch

🕐 1 мес назад · релиз на GitHub ↗

Выпуск Lume 0.5.3: исправлена обработка повторно используемых слоёв OCI-дисков.

Fixed: Исправлена ошибка обработки повторно используемых дайджестов слоёв OCI-дисков.

fleet-v0.1.8patch

🕐 1 мес назад · релиз на GitHub ↗

Техническое обновление версии fleet-v0.1.8, включающее только обновление зависимостей без функциональных изменений.

Обновлены зависимости проекта.

cli-v0.1.14patch

🕐 1 мес назад · релиз на GitHub ↗

Исправлена сборка колеса Cua с использованием PDM для корректного разрешения зависимостей.

Fixed: Исправлено разрешение зависимостей колеса Cua при сборке с помощью PDM.

cli-v0.1.13minorbreaking

🕐 1 мес назад · релиз на GitHub ↗

Добавлена команда для получения GitHub WIF-токена и заменена устаревшая аутентификация на flow запуска устройства.

Added: Добавлена команда cli для получения GitHub WIF-токена.
Breaking: Устаревший метод аутентификации заменён на flow запуска устройства.

fleet-v0.1.7patch

🕐 1 мес назад · релиз на GitHub ↗

Техническое обновление версии fleet-v0.1.7, включающее исключительно обновление зависимостей без изменений функционала.

Релиз содержит только обновления зависимостей.
Новых функций или исправлений в данной версии не представлено.

sandbox-v0.1.27patch

🕐 1 мес назад · релиз на GitHub ↗

Исправление: зафиксирована версия cua-fleet на 0.1.6 для стабильности работы sandbox.

Fixed: Зафиксирована версия cua-fleet на 0.1.6 для устранения нестабильности.

sandbox-v0.1.26patch

🕐 1 мес назад · релиз на GitHub ↗

Техническое обновление версии sandbox-v0.1.26: обновлены зависимости без изменения функционала.

Обновлены зависимости в рамках технического обслуживания.

sandbox-v0.1.24patch

🕐 1 мес назад · релиз на GitHub ↗

Добавлено тестирование спецификации claim по умолчанию для Fleet в модуле cua-sandbox.

Added: Добавлено покрытие тестами спецификации claim по умолчанию для Fleet в модуле cua-sandbox.

cloud-v0.1.1minor

🕐 2 мес назад · релиз на GitHub ↗

В релизе cloud-v0.1.1 добавлена автоматизация процесса сборки и выпуска версий для облачной платформы CUA.

Added: Настроена автоматизация релизов для облачной версии CUA.