lahfir/agent-desktop

Что это за инструмент

agent-desktop — это CLI-инструмент для macOS, Windows и Linux, позволяющий AI-агентам взаимодействовать с десктопными приложениями через дерево доступности (accessibility tree), а не через распознавание пикселей.

Зачем нужен

Инструмент решает задачу автоматизации работы с графическим интерфейсом: агент делает снимок состояния UI, получает JSON с уникальными ссылками (refs) на элементы и выполняет действия (клики, ввод текста) по этим ссылкам. Это полезно для создания автономных агентов, которым нужно управлять сторонними десктопными программами, не полагаясь на нестабильное компьютерное зрение.

Что можно реализовать

• Автоматизация рутинных задач в десктопных приложениях (например, навигация в Finder или Slack) через LLM-агентов.
• Интеграция AI-агентов в существующие рабочие процессы, требующие взаимодействия с GUI, где нет API.
• Отладка и тестирование поведения AI-агентов в среде с графическим интерфейсом.
• Создание кастомных навыков (skills) для фреймворков агентов (например, через skills.sh) для управления окнами и элементами.

Ключевые возможности

• Работа через accessibility API: использование структурных ссылок (refs) вместо пиксельного сопоставления, что повышает надежность.
• Кроссплатформенность: поддержка macOS, Windows и Linux с учетом специфики каждого ОС (например, права доступности на macOS).
• Структурированный JSON-вывод: каждый ответ содержит четкие поля ok, data/error, что упрощает парсинг и обработку ошибок агентом.
• Встроенные навыки (skills): возможность легко добавить инструмент в агента через npx skills или AGENTS.md.
• Безопасность и изоляция: команды запускаются в отдельных процессах, есть предупреждения о конфиденциальности данных в снимках.

👤 Кому подойдёт: разработчики AI-агентов, инженеры по автоматизации, исследователи в области Human-AI interaction