Что такое OMG-Agent и как это работает
Проект OMG-Agent представляет собой универсальную фреймворк-оболочку для мобильных GUI-агентов. В отличие от облачных решений, это локальный десктопный клиент, который использует протокол ADB (Android Debug Bridge) для захвата скриншотов в реальном времени и отправки команд ввода. Пользователь формулирует задачу на естественном языке (например, «Открой WeChat и отправь сообщение Джону»), а ИИ-модель интерпретирует интерфейс телефона и выполняет действия.
Интерфейс приложения двуязычный (английский/китайский) и поддерживает темную/светлую тему. Ключевая особенность — поддержка API, совместимых с OpenAI, что позволяет гибко настраивать бэкенд для обработки запросов.
Поддерживаемые модели и архитектура
Система спроектирована как модульная: ядро агента отделено от графического интерфейса. Для распознавания элементов интерфейса и принятия решений используются специализированные модели, обученные на задачах мобильного GUI. Разработчики рекомендуют использовать следующие модели:
| Модель | Разработчик | Параметры | Описание |
|---|---|---|---|
| AutoGLM-Phone-9B | Zhipu AI | 9B | Специализированная модель для мобильных интерфейсов |
| GELab-Zero-4B-preview | StepFun | 4B | Легковесная модель мобильного агента |
Технические требования и установка
Для работы требуется базовая настройка среды: установка ADB-инструментов (через Scoop, Homebrew или apt) и Python-зависимостей. На самом устройстве необходимо включить режим разработчика, USB-отладку и установить клавиатуру ADBKeyboard для эмуляции ввода текста. Поддерживаются как физические устройства Android, так и эмуляторы.
Лицензирование и ограничения
Проект распространяется под лицензией Apache 2.0 with Commons Clause. Это означает, что использование разрешено для обучения, исследований и личных целей, а также разрешено модификация кода. Однако коммерческое использование строго запрещено. Разработчики из сообщества Safphere предупреждают, что пользователи несут полную ответственность за действия, совершенные через инструмент, и обязаны соблюдать правила использования сервисов мобильных производителей.
Почему это важно
OMG-Agent демонстрирует тренд на локальное управление устройствами через ИИ. Возможность запускать агенты локально с использованием совместимых с OpenAI API снижает зависимость от проприетарных облачных сервисов и открывает возможности для автоматизации рутинных задач на Android без передачи данных в сторонние облака, что критично для приватности.
Источник: Github ↗