Суть релиза
Лаборатория Vercel Labs представила agent-desktop — open-source CLI-инструмент на Rust и C, предназначенный для взаимодействия AI-агентов с нативными приложениями на macOS, Windows и Linux. Выход версии 1.0.2 состоялся 30 октября 2026 года под лицензией Apache-2.0. Ключевое отличие от аналогов: агент оперирует структурированными JSON-снимками (snapshots) элементов интерфейса, а не анализирует скриншоты с помощью компьютерного зрения.
Технические детали и архитектура
Инструмент не содержит встроенных LLM и графического интерфейса. Он работает по принципу «наблюдай-действуй-проверяй», где агент сам управляет логикой, а agent-desktop предоставляет доступ к системным API:
- macOS: AX API
- Windows: UI Automation
- Linux: AT-SPI
Каждая команда возвращает один JSON-объект и завершает работу. Снимки используют уникальные референсы (например, @s8f3k2p9:e8), что позволяет точно идентифицировать элементы. При изменении UI агент получает ошибку STALE_REF и должен сделать новый снимок. Ошибки имеют статус disposition, указывающий, безопасно ли повторять действие.
Экономия ресурсов и производительность
Основная проблема использования LLM для управления десктопом — огромные объемы контекста. Vercel Labs внедрила механизм «скелетной навигации» (skeleton traversal), который считывает только 3 уровня вложенности контейнеров. Это позволяет drastically сократить количество токенов. По заявленным данным разработчиков, в плотных Electron-приложениях (Slack, VS Code, Notion) экономия составляет от 78% до 96%.
| Метрика / Приложение | Полное дерево | Скелет (Skeleton) | Экономия |
|---|---|---|---|
| Apple Maps (один снимок) | 3,811 токенов | 273 токена | ~93% |
| Симуляция задачи (52 шага) | 198,000 токенов | 31,000 токенов | ~84% |
| Electron-приложения (общее) | — | — | 78–96% |
Примечание: данные являются самоотчетными и не прошли независимое бенчмаркирование.
Системные требования и режимы работы
Инструмент оптимизирован для работы на обычном CPU без использования GPU. Поддерживаемые платформы:
- macOS 13+
- Windows 10 (1809+) / Server 2019+
- Ubuntu 24.04+
По умолчанию agent-desktop работает в headless-режиме: действия выполняются через API без перемещения курсора и переключения фокуса, что позволяет пользователю продолжать работу за компьютером. Флаг --headed включает физический ввод, если это необходимо. Каждое действие автоматически ожидает до 5000 мс, пока целевой элемент не станет видимым, активным и стабильным.
Почему это важно
Релиз agent-desktop решает критическую проблему стоимости и скорости работы AI-агентов, управляющих десктопом. Отказ от компьютерного зрения (vision models) в пользу структурированных данных accessibility tree устраняет необходимость в дорогих GPU-инференсах для анализа изображений. Это делает массовое внедрение автономных агентов, способных работать с нативным софтом, экономически целесообразным и технически стабильным.
Источник: MarkTechPost ↗