AIKraft/AI/Поиск…⌘KВойти

steipete/Peekaboo

Peekaboo — это CLI-утилита для macOS и опциональный MCP-сервер, позволяющая AI-агентам делать скриншоты приложений или всей системы с возможностью визуального ответа на вопросы через локальные или удалённые AI-модели.

MCP⭐ 5 190Swiftпоследний релиз: v4.4.0
Открыть на GitHub ↗Сайт проекта ↗

Что это за инструмент

Peekaboo — это macOS CLI-инструмент и MCP-сервер, позволяющий ИИ-агентам делать скриншоты экрана и приложений, а также управлять интерфейсом через клики и ввод текста.

Зачем нужен

Инструмент решает задачу визуальной автоматизации GUI на macOS, позволяя агентам видеть состояние экрана и взаимодействовать с ним. Он полезен для создания автономных сценариев, где требуется анализ UI и выполнение действий без ручного вмешательства.

Что можно реализовать

  • Автоматизация рутинных задач в приложениях (например, создание заметок в Notes или навигация в Safari) через natural-language запросы.
  • Интеграция ИИ-агентов в IDE (Codex, Claude Code, Cursor) через MCP-сервер для работы с графическим интерфейсом.
  • Скриптование интерфейса с фокусом на конкретное приложение без перехвата фокуса ввода (background input).
  • Анализ текущего состояния UI с получением структурированных данных (JSON) и ID элементов для точечного взаимодействия.

Ключевые возможности

  • Поддержка MCP-сервера для интеграции с популярными ИИ-клиентами.
  • Возможность фонового взаимодействия с приложениями (background delivery) без переключения фокуса.
  • Прямое управление элементами через Accessibility API (set-value, perform-action) и скриншоты в Retina-качестве.
  • Поддержка локальных и удаленных LLM (включая Claude Fable 5) через провайдеры Tachikoma.
  • Нативная сборка на Swift 6.2 с поддержкой macOS 15.0+.

👤 Кому подойдёт: разработчики, создающие ИИ-агентов для macOS, и специалисты по автоматизации, работающие с GUI-интерфейсами.

Релизы

v4.4.0minor
🕐 7 дн назад · релиз на GitHub ↗

Peekaboo v4.4.0: исправлена совместимость с Claude/OpenClaw, обновлён Chrome DevTools MCP до 1.9.0 и улучшена стабильность захвата.

  • Fixed: Захват экрана теперь работает параллельно с Claude и OpenClaw без конфликтов.
  • Added: Хосты могут предоставлять собственный MCP-транспорт для PeekabooMCPServer.
  • Fixed: Обновлён Chrome DevTools MCP до 1.9.0: предотвращена активация DevTools при фоновых чтениях.
  • Fixed: Исправлено определение имён приложений и бандлов, блокируемое «зависшими» процессами LaunchServices.
  • Fixed: Устранены крахи встроенных macOS-приложений при фоновых операциях с окнами.
v4.3.4patch
🕐 9 дн назад · релиз на GitHub ↗

Восстановлена совместимость MCP-инструментов, улучшена стабильность захвата активного окна и обновлен SwiftLog.

  • Fixed: Восстановлена совместимость с клиентами, передающими инструменты в Anthropic, через публикацию плоских схем MCP click и paste.
  • Fixed: Исправлено сохранение идентификатора приложения и режима захвата активного окна для точной валидации скриншотов демоном.
  • Added: Обновлена библиотека SwiftLog до версии 1.15.1 для улучшения диспетчеризации логов и совместимости с инструментами Swift.
v4.3.3patch
🕐 13 дн назад · релиз на GitHub ↗

Исправления безопасности для Firestaff, защита от случайных запусков GUI и улучшение работы с конфигурацией.

  • Fixed: Запрещены запуски Peekaboo.app через CLI до начала захвата или запуска Bridge с рекомендацией использовать бинарный файл peekaboo.
  • Fixed: Улучшена безопасность чтения кадров Firestaff: добавлена защита от атомарных обновлений и опциональные лимиты байт.
  • Fixed: Команда config edit --print-path теперь корректно выводит путь без создания файла или запуска редактора.
  • Fixed: Исправлены тесты Homebrew для распознавания заголовка Usage v4 и устранены сбои проверки универсальных бинарных файлов.
v4.3.2minor
🕐 13 дн назад · релиз на GitHub ↗

Peekaboo v4.3.2: улучшена стабильность установки приложений, добавлена явная типизация для скриптов и исправления безопасности.

  • Added: Скрипты теперь могут явно подключать типизацию через type --accept-dispatched, сохраняя строгие значения по умолчанию.
  • Fixed: Восстановлена транзакционная установка приложений и аутентифицированных черновиков релизов.
  • Fixed: Путь к бинарным файлам подготовки релиза теперь обрабатывается буквально для защиты от интерпретации оболочкой.
  • Fixed: Обновлена настройка pnpm до версии 6.1.0 в процессах валидации и сборки.
  • Fixed: Исправлена ссылка в документации команды скриншотов на руководство по тестированию захвата окон.
v4.3.1patch
🕐 15 дн назад · релиз на GitHub ↗

Исправления безопасности в Sparkle, точные скриншоты попапов и защита от переполнения при чтении файлов.

  • Fixed: Обновлен Sparkle до версии 2.9.6 для исправления уязвимостей в проверке подписей и обработке архивов.
  • Fixed: Реализовано точное захватывание границ попапов и листов без привязки к окнам с корректным маппингом Retina.
  • Fixed: Добавлены ограничения на чтение скриншотов через MCP и see для предотвращения переполнения памяти.
  • Fixed: Исправлена обработка таймаутов при захвате действий и сохранение готовности GUI при сбоях ScreenCaptureKit.
v4.3.0minor
🕐 18 дн назад · релиз на GitHub ↗

Peekaboo v4.3.0: усиление безопасности, улучшенная работа с окнами и фоном, оптимизация CLI/MCP.

  • Added: Усилены механизмы безопасности: защита секретов в процессах, жесткая проверка OAuth и Gemini.
  • Added: Добавлена точная идентификация методов захвата окон (Accessibility, pixels-only) и улучшена фоновая автоматизация.
  • Added: Введены новые команды dom-click для CLI и MCP с валидацией состояния страницы и синтетической активацией.
  • Fixed: Исправлено открытие настроек с учетом предпочтений меню, ограничено чтение файлов изображений (10 MiB) и улучшена диагностика браузеров.
  • Added: Ускорен запуск CLI и MCP за счет отложенной инициализации агентов и оптимизации захвата скриншотов.
v4.2.2minor
🕐 1 мес назад · релиз на GitHub ↗

Peekaboo v4.2.2: улучшена безопасность фонового автоматизации, исправлены проблемы с видимостью окон и стабильностью агента.

  • Added: Добавлены точные фоновые клики средней и тройной кнопкой мыши через CLI и MCP без переключения фокуса.
  • Added: В режим dry-run добавлена информация о запрашиваемом и эффективном приоритете фонового доступа.
  • Added: Введен протокол Bridge 1.31 с поддержкой подписанного фонового выполнения агента.
  • Fixed: Исправлено обнаружение элементов TextEdit и минимизированных окон, которые ранее были недоступны.
  • Fixed: Устранены зависания VibeTunnel, ошибки краша при некорректных URL и проблемы с подписью при деплое.
v4.2.0majorbreaking
🕐 1 мес назад · релиз на GitHub ↗

Peekaboo v4.2.0: фокус на фоновой автоматизации, протокол Bridge 1.29 с защитой от атак и улучшенная производительность.

  • Added: Внедрён протокол Bridge 1.29: сессии привязаны к запросам, добавлена защита от повторов и режим fail closed для фоновой автоматизации.
  • Added: Фоновая автоматизация теперь сохраняет активное окно и курсор, требуя явного согласия для переключения пространств (Space) и перемещения окон.
  • Added: Скорость поиска целей увеличена в 141 раз за счёт проверенных наблюдений PID, а латентность снижена на 29.6% благодаря оптимизации проверки идентичности.
  • Added: Добавлен нативный хост Bridge для подписанных macOS-приложений без зависимостей от Core, браузеров или AppleScript.
  • Fixed: Исправлена работа с метаданными в DMG-образах, сохранена строгая проверка кода и улучшена обработка ошибок Accessibility.
v4.1.0majorbreaking
🕐 1 мес назад · релиз на GitHub ↗

Peekaboo v4.1.0: усиленная безопасность фонового режима, поддержка GPT-5.6 и локальный OCR.

  • Breaking: Фоновая автоматизация теперь работает в режиме fail-closed, отказываясь от выполнения при неопределённости.
  • Added: По умолчанию новые агенты используют GPT-5.6 и Claude Opus 5.
  • Added: Добавлен опциональный локальный Vision OCR для команд see в CLI и MCP.
  • Added: Агенты по умолчанию изолированы в фоновом режиме, блокируя взаимодействие с фокусом и системным UI.
  • Added: Восстановлен SwiftPM-фасад с четырьмя библиотеками для внешних потребителей.
v4.0.0majorbreaking
🕐 1 мес назад · релиз на GitHub ↗

Peekaboo 4.0: полный редизайн CLI, новые команды, честные JSON-результаты и фокус на фоновой безопасности.

  • Breaking: Ломающий релиз: удалены устаревшие команды (sleep, open, hotkey) и флаги, требуется миграция по docs/v4-migration.md.
  • Added: Унификация интерфейса: одна команда на операцию (press, drag, see, action), единая грамматика флагов и тайм-аутов.
  • Added: Новая команда verify для проверки состояний с таймаутом и семантикой satisfied/unsatisfied/unknown вместо sleep-поллинга.
  • Added: Честные JSON-результаты с явным указанием эффекта (confirmed, partial, unverifiable) и подсказками по ошибкам.
  • Added: Фоновая безопасность по умолчанию: фокус, глобальные клавиши и физические жесты требуют явного разрешения.
v3.10.0minor
🕐 1 мес назад · релиз на GitHub ↗

Релиз v3.10.0: добавлены новые координаты для MCP и пикселей, исправлены таймауты и краш компилятора Swift 6.3.

  • Added: Добавлены привязанные к референсу координаты пикселей изображений и нормализованные клики MCP.
  • Fixed: Исправлено детерминированное прерывание операций в фоновом процессе и утилиты CLI.
  • Fixed: Устранён краш компилятора Swift 6.3 при работе с командами провайдеров.
  • Added: Обновлены зависимости Sparkle, swift-log, swift-system, Swiftdansi и Tachikoma.
v3.9.10patch
🕐 1 мес назад · релиз на GitHub ↗

Выпуск 3.9.10 с переписанным README и повторной публикацией билда после исправления проблем с установкой и проверкой.

  • Added: Переписан README: теперь это краткое руководство по установке, первому захвату и автоматизации.
  • Fixed: Повторно выпущены пакеты приложения и CLI версии 3.9.10 после того, как 3.9.9 вышла без полной проверки установки и автоматизации.
  • Все проверки безопасности, тесты (759 шт.) и автоматическая верификация GUI прошли успешно.
v3.7.1minorbreaking
🕐 2 мес назад · релиз на GitHub ↗

Peekaboo v3.7.1: редизайн настроек под macOS, новый иконка и удаление Poltergeist.

  • Added: Окно настроек полностью переработано под нативные формы macOS: объединены секции провайдеров, исправлено отображение моделей и добавлены стандартные переключатели.
  • Added: Обновлен значок приложения: он стал более четким и читаемым на малых размерах, сохраняя фирменный стиль.
  • Breaking: Удалена интеграция Poltergeist build-watcher: удалены скрипты и конфиги, сборку теперь нужно выполнять через ./scripts/build-mac-debug.sh или pnpm run build:cli.