io.github.onehumanbeing/esp32agent
Позволяет ИИ-агентам видеть и управлять реальным iPhone через ESP32-S3 USB HID и AirPlay. Работает без jailbreak, обеспечивая аппаратное взаимодействие с устройством.
Что это
Позволяет ИИ-агентам видеть и управлять реальным iPhone через ESP32-S3 USB HID и AirPlay. Работает без jailbreak, обеспечивая аппаратное взаимодействие с устройством.
Как подключить
Вставьте блок в конфиг клиента (Claude Desktop, Claude Code, Cursor, VS Code, Cline). Команда и package собраны из полей официального MCP Registry.
Что нового в версиях
Выпущена версия cli-v0.1.4 для esp32agent CLI; подробная инструкция по установке доступна в файле cli/README.md.
- НовоеДоступна новая версия esp32agent CLI 0.1.4.
- Инструкция по установке обновлена и размещена в файле cli/README.md.
Релиз v0.2.4: добавлен прослушивание аудио телефона, увеличен лимит задач до 300 раундов, улучшена точность указателя и стабильность видеопотока.
- НовоеДобавлена функция прослушивания аудио телефона: плата транслирует звук AirPlay, приложение транскрибирует его, агент обрабатывает услышанное.
- НовоеУвеличен лимит длинных задач: снято ограничение в 40 раундов, установлен безопасный предел в 300 раундов, добавлена возможность продолжения с места остановки.
- НовоеУлучшена точность указателя: калибровка скорости коротких перемещений, проверка дальних показаний и защита от случайного открытия панели управления.
- НовоеПовышена стабильность видеопотока: устранены потери кадров, оптимизирована работа с сетью и переключением между Wi-Fi и BLE.
- ИсправленоИсправлены критические ошибки: краш приложения при калибровке или в отладочном логе, а также повторный ввод из-за потери подтверждения по BLE.
Выпущена версия cli-v0.1.3 для esp32agent CLI. Основные изменения и детали установки описаны в файле cli/README.md.
- НовоеДоступна новая версия cli-v0.1.3.
- Инструкция по установке обновлена и доступна в файле cli/README.md.
Выпущена версия cli-v0.1.2 для esp32agent CLI; установка доступна в cli/README.md.
- Выпущена версия cli-v0.1.2 для esp32agent CLI.
- Инструкция по установке доступна в файле cli/README.md.
Выпущена версия cli-v0.1.1 инструмента esp32agent CLI. Подробная инструкция по установке доступна в файле cli/README.md.
- НовоеДоступна новая версия cli-v0.1.1 для инструмента esp32agent CLI.
- Инструкция по установке обновлена и размещена в файле cli/README.md.
Выпущена первая версия CLI-инструмента esp32agent (v0.1.0) для работы с ESP32.
- НовоеДобавлен CLI-инструмент esp32agent версии 0.1.0.
- Инструкция по установке доступна в файле cli/README.md.
Первый релиз архитектуры iPhone-агента на ESP32 и OpenAI-моделях без джейлбрейка и Mac.
- НовоеЗеркалирование экрана iPhone через AirPlay на UxPlay (Mac/Linux).
- НовоеУправление через дешёвый ESP32-S3, эмулирующий мышь и клавиатуру.
- НовоеИнтеграция с любыми OpenAI-совместимыми vision-моделями (демо: Qwen3.8-Flash-Next).
- НовоеРабота без Mac, аккаунта разработчика и джейлбрейка.
- Ограничения: только портретные приложения, ввод только ASCII, задержка ~1.3 с.
Все релизы на GitHub → Пересказ на русском — по заметкам к релизам и коммитам.