AIKraft Agents

steipete/Peekaboo

Peekaboo — это CLI-утилита для macOS и опциональный MCP-сервер, позволяющая AI-агентам делать скриншоты приложений или всей системы с возможностью визуального ответа на вопросы через локальные или удалённые AI-модели.

MCP⭐ 5 441Swiftпоследний релиз: v4.9.8
Открыть на GitHub ↗Сайт проекта ↗

Что это за инструмент

Peekaboo — это macOS CLI-инструмент и MCP-сервер, позволяющий ИИ-агентам делать скриншоты экрана и приложений, а также управлять интерфейсом через клики и ввод текста.

Зачем нужен

Инструмент решает задачу визуальной автоматизации GUI на macOS, позволяя агентам видеть состояние экрана и взаимодействовать с ним. Он полезен для создания автономных сценариев, где требуется анализ UI и выполнение действий без ручного вмешательства.

Что можно реализовать

  • Автоматизация рутинных задач в приложениях (например, создание заметок в Notes или навигация в Safari) через natural-language запросы.
  • Интеграция ИИ-агентов в IDE (Codex, Claude Code, Cursor) через MCP-сервер для работы с графическим интерфейсом.
  • Скриптование интерфейса с фокусом на конкретное приложение без перехвата фокуса ввода (background input).
  • Анализ текущего состояния UI с получением структурированных данных (JSON) и ID элементов для точечного взаимодействия.

Ключевые возможности

  • Поддержка MCP-сервера для интеграции с популярными ИИ-клиентами.
  • Возможность фонового взаимодействия с приложениями (background delivery) без переключения фокуса.
  • Прямое управление элементами через Accessibility API (set-value, perform-action) и скриншоты в Retina-качестве.
  • Поддержка локальных и удаленных LLM (включая Claude Fable 5) через провайдеры Tachikoma.
  • Нативная сборка на Swift 6.2 с поддержкой macOS 15.0+.

👤 Кому подойдёт: разработчики, создающие ИИ-агентов для macOS, и специалисты по автоматизации, работающие с GUI-интерфейсами.

Релизы

v4.9.8minor
🕐 16 ч назад · релиз на GitHub ↗

Peekaboo v4.9.8: улучшена работа с диалогами, фокусом окон и захватом экрана, исправлены ошибки форматирования и документации.

  • Added: Добавлена поддержка выбора файлов в стандартных диалогах через флаг --path, а также защита от ввода имен файлов в поля поиска и фильтров.
  • Fixed: Улучшена точность определения окон: исправлена работа при совпадении имен приложений, добавлен фоллбэк на Accessibility и поддержка приложений с пустым списком окон.
  • Added: Запуск MCP и Agent-рантаймов теперь возможен, даже если канал захвата экрана занят другим процессом без доступного Bridge.
  • Fixed: Исправлено восстановление буфера обмена (задержка увеличена до 250 мс), улучшено форматирование длительностей и сообщения об отсутствии окон.
  • Added: Обновлены зависимости Swift Log и Swift Configuration, улучшено отображение Markdown и ссылок на сайте документации.
v4.9.7minor
🕐 13 дн назад · релиз на GitHub ↗

Исправлена работа с окнами Chrome и самоперезапускающимися приложениями, улучшена точность Inspector и обработка ошибок Vision-моделей.

  • Fixed: Устранена ошибка, из-за которой `peekaboo see` не мог наблюдать окна Chrome с усеченными или дополненными названиями.
  • Fixed: Исправлено закрытие окон приложений, которые перезапускают себя с флагом `--foreground`.
  • Fixed: Daemon теперь корректно сообщает о закрытии окна, даже если приложение сохраняет `NSWindow` живым.
  • Added: Улучшена классификация элементов Dock: разделители и корзина теперь определяются по Accessibility subroles.
  • Fixed: При использовании Vision-моделей через провайдеров без явной поддержки теперь показывается ошибка провайдера, а не происходит тихий переключатель.
  • Fixed: Inspector теперь подсвечивает элементы в активном окне под курсором, игнорируя перекрывающие окна не отслеживаемых приложений.
v4.9.6minor
🕐 16 дн назад · релиз на GitHub ↗

Исправлена работа с процессами, окнами, чатом и сохранением истории; добавлена настройка Vision-модели и Ollama URL.

  • Fixed: Улучшена обработка процессов, перезапускающихся при запуске, и корректное закрытие окон.
  • Added: Добавлена возможность использовать сохраненную Vision-модель для анализа изображений.
  • Added: URL Ollama теперь сохраняется в config.json для использования в CLI.
  • Fixed: Исправлена работа кнопки стоп, очереди сообщений и синхронизации чата в строке меню.
  • Fixed: Защита истории сессий от потери при повреждении файла sessions.json.
v4.9.5minor
🕐 20 дн назад · релиз на GitHub ↗

Peekaboo v4.9.5: улучшена работа с unsigned-сборками, исправлены Accessibility и исправления UI.

  • Added: Добавлена опция PEEKABOO_ALLOW_UNSIGNED_DAEMON=1 для явного доверия к собственному демону в unsigned-сборках.
  • Fixed: Исправлено определение Accessibility-прав для type, paste, press/hotkey, window, menu и menubar.
  • Fixed: Исправлено чтение дочерних элементов Accessibility, когда приложение отказывается от неподходящих атрибутов.
  • Fixed: Исправлена обработка отмены quit для нескольких приложений, чтобы избежать ложных побочных эффектов.
  • Added: Обновлён AXorcist для корректного отображения новой строки настроек macOS 27.
v4.9.4minor
🕐 21 дн назад · релиз на GitHub ↗

Исправлено поведение прав при автозапуске демонов, обновлена поддержка macOS 27, добавлена защита от некорректных координат.

  • Fixed: Сохранён выбранный хост моста Peekaboo.app при автозапуске демонов из неавторизованных терминалов, предотвращена потеря прав.
  • Added: Добавлена поддержка переименованного раздела настроек macOS 27 «Device Control and Data Access» для прав доступа.
  • Added: Улучшена диагностика ошибок доверия: добавлены пояснения для несигнатурных сборок (например, из Homebrew).
  • Fixed: Введены проверки на корректность координат и регионов, исключающие nan и бесконечные значения в командах клика и захвата.
  • Fixed: Обновлены библиотеки SwiftNIO и Service Lifecycle, включая исправление утечки Unix-сигналов.
v4.9.3patchbreaking
🕐 23 дн назад · релиз на GitHub ↗

Исправлена обработка ошибок MCP, улучшена стабильность запуска демона и парсинг результатов агентов.

  • Breaking: Удалены неиспользуемые публичные символы PeekabooFoundation, что требует обновления зависимостей SwiftPM.
  • Fixed: Улучшена обработка ошибок MCP: добавлен корректный выход при фатальных ошибках и защита от дублирования серверов.
  • Fixed: Решена проблема с отображением результатов инструментов агента, содержащих обратные слеши или переносы строк.
  • Fixed: Унифицирована диагностика сбоев аутентификации и зонда при ручном запуске демона, добавлена 10-секундная задержка готовности.
  • Fixed: Исправлена фильтрация логов для исторических запросов и улучшено отображение форматирования в документации.
v4.9.2minor
🕐 24 дн назад · релиз на GitHub ↗

Обновление Swift Subprocess для закрытия pipe, добавление approval-gated CI для подписи и параллельный fallback для Notary API.

  • Fixed: Обновлён Swift Subprocess до 1.0.1 для корректной работы close-on-exec и очистки дескрипторов в CLI-процессах.
  • Added: Добавлен путь сборки в GitHub Actions с approval-gate для подписи и нотаризации универсальных релизов.
  • Fixed: Реализован параллельный fallback Notary REST API при сбоях notarytool для повышения надёжности нотаризации.
v4.9.1patch
🕐 25 дн назад · релиз на GitHub ↗

Исправлено высокое потребление CPU в режиме ожидания, улучшена обработка ссылок, конфигураций и захвата данных.

  • Fixed: Устранено высокое потребление CPU процессом peekaboo mcp в простое при запуске или завершении других приложений.
  • Fixed: Запрещено перезаписывать файлы конфигурации, если они недоступны для чтения, чтобы избежать потери настроек.
  • Fixed: Исправлена потеря данных при захвате: теперь корректно сохраняются фрагменты stdout/stderr, разбитые лимитом в 64 КБ.
  • Added: Добавлена поддержка переименованных или символических ссылок на CLI-исполняемые файлы при маршрутизации команд.
  • Added: Разрешены подписанные глобальные координаты для операций перемещения и перетаскивания в foreground MCP.
v4.9.0minor
🕐 1 мес назад · релиз на GitHub ↗

Peekaboo v4.9.0: улучшена работа с файловыми диалогами, буфером обмена и визуализатором, обновлен AXorcist, усилены проверки безопасности.

  • Added: Добавлена поддержка точных кликов в меню с привязкой к приложению и PID, сохранена фокусировка файловых диалогов на родительском окне.
  • Added: Визуализатор теперь показывает оверлеи из скрытого приложения без его активации; Agent адаптирует подсказки под доступный каталог инструментов.
  • Fixed: Восстановлена корректная работа буфера обмена между процессами с сохранением порядка элементов; обновлен AXorcist до версии 0.2.1.
  • Fixed: Исправлена потеря идентичности родительского окна при выборе файлов; улучшено распознавание путей и предотвращены лишние сканирования кнопок.
  • Added: Усилены проверки безопасности: улучшена валидация архивов, защита от переполнений, корректная обработка ссылок и ошибок npm.
v4.8.0minor
🕐 1 мес назад · релиз на GitHub ↗

Peekaboo v4.8.0: точечное перетаскивание, вставка текста, скролл и опциональное обновление Accessibility-данных.

  • Added: Добавлено точечное перетаскивание в фоне через CLI и MCP с гарантией целостности и защитой от конфликтов.
  • Added: Реализована фоновая вставка текста (select-text) и прокрутка по координатам (coords) для точных окон.
  • Added: Расширена поддержка Safari для фоновой прокрутки и добавлен флаг --allow-temporary-clipboard для безопасной вставки.
  • Added: Введен опциональный режим see --fresh для получения актуальных Accessibility-данных без кэширования.
  • Fixed: Восстановлена готовность ScreenCaptureKit после медленного старта и исправлена валидация исполняемых файлов Bridge.
v4.7.0major
🕐 1 мес назад · релиз на GitHub ↗

Исправлен запуск CLI на старых macOS, добавлены модели GPT-6/6.1, улучшена работа с буфером обмена и структурированные данные MCP.

  • Fixed: Исправлен сбой запуска CLI на Mac без macOS 27 за счет фиксации зависимости Swift Collections.
  • Added: Добавлена поддержка моделей GPT-6 (Astra, Sol, Luna) и GPT-6.1 Sol через Tachikoma с сохранением лимита 128K.
  • Fixed: Улучшена работа с буфером обмена: предотвращены ложные запросы приватности и сохранены данные при сбоях записи.
  • Added: MCP-клиенты теперь получают структурированные таблицы элементов (_meta.ui_elements) и точные границы видимости экрана.
  • Fixed: Обеспечена надежная потоковая передача данных для совместимых провайдеров Agent и исправлена валидация числовых аргументов.
v4.6.0minor
🕐 1 мес назад · релиз на GitHub ↗

Улучшена стабильность ввода и буфера обмена, восстановлено подключение Codex MCP, добавлена опция отключения контекста рабочего стола.

  • Fixed: Ограничено время ожидания буфера обмена и десктопных операций 15 секундами для предотвращения блокировок.
  • Fixed: Восстановлено подключение Codex MCP и GUI Bridge за счет исправления инициализации экспериментальных возможностей.
  • Added: Добавлен флаг --no-desktop-context для отключения автоматического сбора контекста рабочего стола агентом.
  • Fixed: Улучшена обработка модификаторов клавиатуры и фокуса, предотвращающая случайное срабатывание горячих клавиш.
  • Added: Явно задана стратегия фонового набора текста через Accessibility (actionFirst) с защитой от дублирования ввода.
v4.5.0minor
🕐 1 мес назад · релиз на GitHub ↗

Исправлены критические ошибки (краши, зависания, утечки), улучшена стабильность Chrome и оптимизированы CLI-архивы.

  • Fixed: Устранены критические ошибки: краши при отрицательных значениях, зависания десктопных мутаций и утечки данных снимков.
  • Fixed: Восстановлена надежная работа с Chrome через единое WebSocket-соединение и исправлены ошибки аутентификации Bridge.
  • Added: Добавлены облегченные CLI-архивы для архитектур arm64 и x86_64 с автоматическим выбором через Homebrew.
  • Fixed: Исправлена переполнение стека при нормализации префиксов моделей OpenAI и ошибки валидации скроллинга.
  • Fixed: Оптимизирована производительность CLI: ускорен запуск, сокращена постобработка снимков и устранены дублирующие проверки.
v4.4.0minor
🕐 1 мес назад · релиз на GitHub ↗

Peekaboo v4.4.0: исправлена совместимость с Claude/OpenClaw, обновлён Chrome DevTools MCP до 1.9.0 и улучшена стабильность захвата.

  • Fixed: Захват экрана теперь работает параллельно с Claude и OpenClaw без конфликтов.
  • Added: Хосты могут предоставлять собственный MCP-транспорт для PeekabooMCPServer.
  • Fixed: Обновлён Chrome DevTools MCP до 1.9.0: предотвращена активация DevTools при фоновых чтениях.
  • Fixed: Исправлено определение имён приложений и бандлов, блокируемое «зависшими» процессами LaunchServices.
  • Fixed: Устранены крахи встроенных macOS-приложений при фоновых операциях с окнами.
v4.3.4patch
🕐 1 мес назад · релиз на GitHub ↗

Восстановлена совместимость MCP-инструментов, улучшена стабильность захвата активного окна и обновлен SwiftLog.

  • Fixed: Восстановлена совместимость с клиентами, передающими инструменты в Anthropic, через публикацию плоских схем MCP click и paste.
  • Fixed: Исправлено сохранение идентификатора приложения и режима захвата активного окна для точной валидации скриншотов демоном.
  • Added: Обновлена библиотека SwiftLog до версии 1.15.1 для улучшения диспетчеризации логов и совместимости с инструментами Swift.
v4.3.3patch
🕐 1 мес назад · релиз на GitHub ↗

Исправления безопасности для Firestaff, защита от случайных запусков GUI и улучшение работы с конфигурацией.

  • Fixed: Запрещены запуски Peekaboo.app через CLI до начала захвата или запуска Bridge с рекомендацией использовать бинарный файл peekaboo.
  • Fixed: Улучшена безопасность чтения кадров Firestaff: добавлена защита от атомарных обновлений и опциональные лимиты байт.
  • Fixed: Команда config edit --print-path теперь корректно выводит путь без создания файла или запуска редактора.
  • Fixed: Исправлены тесты Homebrew для распознавания заголовка Usage v4 и устранены сбои проверки универсальных бинарных файлов.
v4.3.2minor
🕐 1 мес назад · релиз на GitHub ↗

Peekaboo v4.3.2: улучшена стабильность установки приложений, добавлена явная типизация для скриптов и исправления безопасности.

  • Added: Скрипты теперь могут явно подключать типизацию через type --accept-dispatched, сохраняя строгие значения по умолчанию.
  • Fixed: Восстановлена транзакционная установка приложений и аутентифицированных черновиков релизов.
  • Fixed: Путь к бинарным файлам подготовки релиза теперь обрабатывается буквально для защиты от интерпретации оболочкой.
  • Fixed: Обновлена настройка pnpm до версии 6.1.0 в процессах валидации и сборки.
  • Fixed: Исправлена ссылка в документации команды скриншотов на руководство по тестированию захвата окон.
v4.3.1patch
🕐 2 мес назад · релиз на GitHub ↗

Исправления безопасности в Sparkle, точные скриншоты попапов и защита от переполнения при чтении файлов.

  • Fixed: Обновлен Sparkle до версии 2.9.6 для исправления уязвимостей в проверке подписей и обработке архивов.
  • Fixed: Реализовано точное захватывание границ попапов и листов без привязки к окнам с корректным маппингом Retina.
  • Fixed: Добавлены ограничения на чтение скриншотов через MCP и see для предотвращения переполнения памяти.
  • Fixed: Исправлена обработка таймаутов при захвате действий и сохранение готовности GUI при сбоях ScreenCaptureKit.
v4.3.0minor
🕐 2 мес назад · релиз на GitHub ↗

Peekaboo v4.3.0: усиление безопасности, улучшенная работа с окнами и фоном, оптимизация CLI/MCP.

  • Added: Усилены механизмы безопасности: защита секретов в процессах, жесткая проверка OAuth и Gemini.
  • Added: Добавлена точная идентификация методов захвата окон (Accessibility, pixels-only) и улучшена фоновая автоматизация.
  • Added: Введены новые команды dom-click для CLI и MCP с валидацией состояния страницы и синтетической активацией.
  • Fixed: Исправлено открытие настроек с учетом предпочтений меню, ограничено чтение файлов изображений (10 MiB) и улучшена диагностика браузеров.
  • Added: Ускорен запуск CLI и MCP за счет отложенной инициализации агентов и оптимизации захвата скриншотов.
v4.2.2minor
🕐 2 мес назад · релиз на GitHub ↗

Peekaboo v4.2.2: улучшена безопасность фонового автоматизации, исправлены проблемы с видимостью окон и стабильностью агента.

  • Added: Добавлены точные фоновые клики средней и тройной кнопкой мыши через CLI и MCP без переключения фокуса.
  • Added: В режим dry-run добавлена информация о запрашиваемом и эффективном приоритете фонового доступа.
  • Added: Введен протокол Bridge 1.31 с поддержкой подписанного фонового выполнения агента.
  • Fixed: Исправлено обнаружение элементов TextEdit и минимизированных окон, которые ранее были недоступны.
  • Fixed: Устранены зависания VibeTunnel, ошибки краша при некорректных URL и проблемы с подписью при деплое.
v4.2.0majorbreaking
🕐 2 мес назад · релиз на GitHub ↗

Peekaboo v4.2.0: фокус на фоновой автоматизации, протокол Bridge 1.29 с защитой от атак и улучшенная производительность.

  • Added: Внедрён протокол Bridge 1.29: сессии привязаны к запросам, добавлена защита от повторов и режим fail closed для фоновой автоматизации.
  • Added: Фоновая автоматизация теперь сохраняет активное окно и курсор, требуя явного согласия для переключения пространств (Space) и перемещения окон.
  • Added: Скорость поиска целей увеличена в 141 раз за счёт проверенных наблюдений PID, а латентность снижена на 29.6% благодаря оптимизации проверки идентичности.
  • Added: Добавлен нативный хост Bridge для подписанных macOS-приложений без зависимостей от Core, браузеров или AppleScript.
  • Fixed: Исправлена работа с метаданными в DMG-образах, сохранена строгая проверка кода и улучшена обработка ошибок Accessibility.
v4.1.0majorbreaking
🕐 2 мес назад · релиз на GitHub ↗

Peekaboo v4.1.0: усиленная безопасность фонового режима, поддержка GPT-5.6 и локальный OCR.

  • Breaking: Фоновая автоматизация теперь работает в режиме fail-closed, отказываясь от выполнения при неопределённости.
  • Added: По умолчанию новые агенты используют GPT-5.6 и Claude Opus 5.
  • Added: Добавлен опциональный локальный Vision OCR для команд see в CLI и MCP.
  • Added: Агенты по умолчанию изолированы в фоновом режиме, блокируя взаимодействие с фокусом и системным UI.
  • Added: Восстановлен SwiftPM-фасад с четырьмя библиотеками для внешних потребителей.
v4.0.0majorbreaking
🕐 2 мес назад · релиз на GitHub ↗

Peekaboo 4.0: полный редизайн CLI, новые команды, честные JSON-результаты и фокус на фоновой безопасности.

  • Breaking: Ломающий релиз: удалены устаревшие команды (sleep, open, hotkey) и флаги, требуется миграция по docs/v4-migration.md.
  • Added: Унификация интерфейса: одна команда на операцию (press, drag, see, action), единая грамматика флагов и тайм-аутов.
  • Added: Новая команда verify для проверки состояний с таймаутом и семантикой satisfied/unsatisfied/unknown вместо sleep-поллинга.
  • Added: Честные JSON-результаты с явным указанием эффекта (confirmed, partial, unverifiable) и подсказками по ошибкам.
  • Added: Фоновая безопасность по умолчанию: фокус, глобальные клавиши и физические жесты требуют явного разрешения.
v3.10.0minor
🕐 3 мес назад · релиз на GitHub ↗

Релиз v3.10.0: добавлены новые координаты для MCP и пикселей, исправлены таймауты и краш компилятора Swift 6.3.

  • Added: Добавлены привязанные к референсу координаты пикселей изображений и нормализованные клики MCP.
  • Fixed: Исправлено детерминированное прерывание операций в фоновом процессе и утилиты CLI.
  • Fixed: Устранён краш компилятора Swift 6.3 при работе с командами провайдеров.
  • Added: Обновлены зависимости Sparkle, swift-log, swift-system, Swiftdansi и Tachikoma.
v3.9.10patch
🕐 3 мес назад · релиз на GitHub ↗

Выпуск 3.9.10 с переписанным README и повторной публикацией билда после исправления проблем с установкой и проверкой.

  • Added: Переписан README: теперь это краткое руководство по установке, первому захвату и автоматизации.
  • Fixed: Повторно выпущены пакеты приложения и CLI версии 3.9.10 после того, как 3.9.9 вышла без полной проверки установки и автоматизации.
  • Все проверки безопасности, тесты (759 шт.) и автоматическая верификация GUI прошли успешно.
v3.7.1minorbreaking
🕐 4 мес назад · релиз на GitHub ↗

Peekaboo v3.7.1: редизайн настроек под macOS, новый иконка и удаление Poltergeist.

  • Added: Окно настроек полностью переработано под нативные формы macOS: объединены секции провайдеров, исправлено отображение моделей и добавлены стандартные переключатели.
  • Added: Обновлен значок приложения: он стал более четким и читаемым на малых размерах, сохраняя фирменный стиль.
  • Breaking: Удалена интеграция Poltergeist build-watcher: удалены скрипты и конфиги, сборку теперь нужно выполнять через ./scripts/build-mac-debug.sh или pnpm run build:cli.