Что такое Cua и зачем это нужно
Проект Cua (ранее известный как Computer-Use 2.0) позиционируется как open-source инфраструктура, позволяющая ИИ-агентам взаимодействовать с графическим интерфейсом компьютера так же, как это делает человек. Платформа решает проблему изоляции и безопасности, предоставляя агентам выделенные среды выполнения. Ключевая идея — разделение на «System 1» (быстрые, узкоспециализированные решения) и общее планирование агента.
Ключевые компоненты платформы
Экосистема Cua состоит из нескольких взаимосвязанных модулей, каждый из которых решает свою задачу в цепочке автоматизации:
- Cua Fleets: Облачная инфраструктура для предоставления изолированных Linux-рабочих столов. Разработчики могут запрашивать десктоп через Sandbox SDK, выполнять команды, делать скриншоты и удалять ресурсы после завершения. Доступно по адресу
run.cua.ai. - Cua Driver: Инструмент для управления нативными приложениями (LibreOffice, Inkscape, калькуляторы) и браузерами на macOS, Windows и Linux. Поддерживает работу в фоне без перехвата фокуса мыши. Устанавливается через скрипты для Bash и PowerShell.
- CUA-S1: Семейство малых специализированных моделей (Small Specialized Models). Они не генерируют текст, а принимают бинарные или структурированные решения: выбрать значение в поле, нажать кнопку или пропустить элемент. Работают в связке с кодом приложения, который задает границы действий.
- Lume: Инструмент для создания локальных виртуальных машин macOS Tahoe и Linux на чипах Apple Silicon (Apple Silicon) с использованием Virtualization.Framework.
- Cua Bench: Фреймворк для создания задач, оценки агентов и экспорта траекторий обучения. Позволяет проверять эффективность агентов на симулированных задачах без необходимости запуска тяжелых VM.
Технические детали и интеграции
Разработчики могут интегрировать Cua с популярными ИИ-агентами, такими как Claude Code, Codex, Cursor и OpenClaw. Архитектура поддерживает взаимодействие через CLI, MCP (Model Context Protocol) и типизированные SDK. Для локальных вычислений на Mac используется фреймворк Apple, что позволяет запускать macOS-окружения на «железе» пользователя.
Важно отметить лицензионные особенности: основная часть проекта (Cua Driver, Lume, Bench) распространяется под лицензией MIT. Однако некоторые компоненты, такие как расширение cua-perception (использующее OmniParser и PP-OCR), имеют лицензию AGPL-3.0 или Apache-2.0, что требует внимания при коммерческом использовании и распространении.
Как начать работу
Для быстрого старта Cua предлагает готовые сценарии. Например, можно provision (предоставить) Linux-десктоп, выполнить команду uname -a, сохранить скриншот и освободить ресурсы. Для локальных пользователей macOS доступен скрипт установки Lume, позволяющий развернуть чистую macOS Tahoe и подключиться к ней по SSH. Оценка эффективности агентов в Cua Bench производится через метрику награды (reward), где успешное выполнение задачи дает значение 1.0.
| Компонент | Назначение | Поддерживаемые ОС | Тип лицензии |
|---|---|---|---|
| Cua Fleets | Облачные изолированные десктопы | Linux | MIT |
| Cua Driver | Управление приложениями и браузерами | macOS, Windows, Linux | MIT |
| CUA-S1 | Специализированные модели для решений | Не применимо (модель) | MIT (weights на Hugging Face) |
| Lume | Локальные VM на Apple Silicon | macOS (host) | MIT |
| Cua Bench | Тестирование и оценка агентов | Кроссплатформенно | MIT |
| cua-perception | Компонент компьютерного зрения | Кроссплатформенно | AGPL-3.0 / Apache-2.0 |
Значение для индустрии
Появление Cua знаменует переход от текстовых ИИ-ассистентов к агентам, способным работать с графическим интерфейсом. Это критически важно для автоматизации рутинных задач, требующих навигации по сложным программам (например, бухгалтерским или графическим редакторам). Открытый код и наличие бенчмарков позволяют сообществу стандартизировать оценку эффективности таких агентов, что ускорит развитие направления Computer-Use 2.0.
Источник: Github ↗