OthersideAI/self-operating-computer

Что это за инструмент

Self-Operating Computer — это фреймворк, позволяющий мультимодальным LLM управлять компьютером, анализируя скриншоты и выполняя клики и нажатия клавиш.

Зачем нужен

Инструмент решает задачу автоматизации GUI-взаимодействий, позволяя ИИ-агенту выполнять задачи, требующие работы с интерфейсом, так же, как это делает человек. Это полезно для тестирования приложений, автоматизации рутинных операций с ПО и исследования возможностей компьютерного зрения в агентах.

Что можно реализовать

• Автоматизация рутинных задач в десктопных приложениях (заполнение форм, навигация по меню)
• Тестирование пользовательских интерфейсов с помощью ИИ для проверки корректности работы элементов
• Исследование эффективности различных мультимодальных моделей в задачах управления ОС
• Создание голосовых помощников, управляющих компьютером через голосовые команды

Ключевые возможности

• Поддержка множества LLM: GPT-4o, GPT-4.1, o1, Gemini Pro Vision, Claude 3, Qwen-VL, LLaVa
• Режим OCR для точного определения координат кликаемых элементов по тексту
• Возможность локального запуска через Ollama (например, модель LLaVa)
• Поддержка голосового ввода задач через режим --voice
• Простая установка через pip и запуск через команду operate

👤 Кому подойдёт: разработчики, исследователи в области AI, QA-инженеры, энтузиасты автоматизации