bytedance/UI-TARS-desktop

Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra

Агенты⭐ 39 555TypeScriptпоследний релиз: v0.3.1

Что это за инструмент

UI-TARS-desktop — это open-source стек мультимодальных AI-агентов от ByteDance, включающий десктопное приложение для автоматизации работы с интерфейсами и CLI/Web-инструмент Agent TARS для управления компьютером через терминал.

Зачем нужен

Инструмент решает задачу автоматизации рутинных операций с графическим интерфейсом (GUI) и браузером с помощью мультимодальных LLM. Он полезен тем, кто хочет делегировать ИИ выполнение сложных сценариев, требующих визуального анализа экрана и взаимодействия с элементами управления, интегрируя при этом внешние инструменты через MCP.

Что можно реализовать

Автоматизация работы с десктопными приложениями и веб-браузерами (клики, ввод текста, навигация) с помощью локальных или удалённых операторов.
Выполнение задач в терминале (CLI) с использованием мультимодальных моделей и интеграцией через MCP.
Удалённое управление компьютером или браузером через веб-интерфейс без сложной настройки.
Разработка кастомных GUI-агентов с использованием UI TARS SDK для кроссплатформенной автоматизации.

Ключевые возможности

Поддержка как локального, так и удалённого (remote) управления компьютером и браузером.
Интеграция с MCP (Model Context Protocol) для подключения реальных инструментов.
Наличие CLI, Web UI и SDK для гибкого использования в разных сценариях.
Использование передовых мультимодальных моделей (включая UI-TARS-1.5) для точного контроля интерфейсов.
Open-source лицензия и активная разработка (версии v0.3.0+ с поддержкой стриминга и sandbox).

👤 Кому подойдёт: разработчики, инженеры по автоматизации, исследователи в области AI-агентов

Релизы

v0.3.1majorbreaking

🕐 28 дн назад · релиз на GitHub ↗

Релиз v0.3.1: закрыты уязвимости CLI-сервера, добавлена защита токенами и CSRF, изменено поведение по умолчанию.

Breaking: Сервер теперь привязан к 127.0.0.1 по умолчанию; для удалённого доступа требуются флаги --host, --auth-token и переменные TARKO_ALLOWED_HOSTS/ORIGINS.
Breaking: В agentOptions принимаются только параметры agentMode; остальные настройки (mcpServers, model) теперь конфигурируются на стороне сервера.
Added: Добавлена защита от CSRF-атак, валидация Host-заголовков и ограничение CORS-политик.
Added: Добавлен новый CLI-инструмент @gui-agent/cli для автоматизации работы с графическим интерфейсом.
Fixed: Исправлена обработка неизвестных провайдеров моделей (дефолт к OpenAI), потоковое использование в LLM и некорректные JSON-строки.

v0.3.0majorbreaking

🕐 12 мес назад · релиз на GitHub ↗

Релиз v0.3.0: исправлена критическая уязвимость RCE в MCP, добавлена поддержка игрового режима и улучшена обработка скриншотов.

Breaking: Исправлена критическая уязвимость RCE в MCP: удален опасный флаг DANGEROUSLY_OMIT_AUTH из скриптов разработки.
Added: Добавлен игровой режим (game mode) с улучшенной обработкой ошибок, приветственными карточками и настройками.
Added: Улучшена обработка скриншотов: добавлен расчет детализации изображений и их сжатие для GUI-агентов.
Added: Обновлен UI: внедрены welcome-карточки, мобильный интерфейс bottom sheet и новый рендеринг терминала.
Fixed: Исправлены ошибки рендеринга, потеря режима агента и избыточное логирование событий в серверной части.