Приватность и невидимость: как это работает
Cue — это open-source приложение на базе Electron, которое позиционируется как полностью локальный ИИ-сопровождающий. Ключевая особенность проекта — использование флага NSWindowSharingNone (через setContentProtection(true)), который сообщает операционной системе, что окно не должно захватываться инструментами записи экрана. Это позволяет использовать Cue в качестве «секретного» помощника во время демонстрации экрана в Zoom, Teams или Google Meet.
Важно отметить: технология работает на уровне «best-effort». На macOS 15.4+ Apple позволяет некоторым современным инструментам захвата игнорировать этот флаг, а физическая камера смартфона всегда может увидеть интерфейс. Разработчики предупреждают, что использование в прокторинговых экзаменах или собеседованиях может нарушать правила платформ и законы о согласии.
Три источника данных и архитектура
В отличие от простых чат-ботов, Cue обрабатывает три независимых потока данных одновременно, сохраняя их разделение для точности контекста:
- Экран: Скриншоты высокого разрешения через
desktopCapturer(захватываются только по запросу). - Микрофон пользователя («Вы»): Запись через
getUserMediaс понижением частоты до 16 кГц. - Аудио собеседника («Они»): Loopback-захват системного вывода звука через
getDisplayMedia. Это позволяет ИИ понимать, кто именно говорит, разделяя потоки «Вы» и «Them».
Все аудиопотоки транскрибируются (Whisper или Gemini), а затем вместе с скриншотом отправляются в LLM. Ответы стримятся в интерфейс слово за словом.
Функционал и триггеры
Интерфейс представляет собой прозрачную панель, которая не блокирует клики по фону. Основные сценарии использования:
| Функция | Триггер | Используемые данные | Назначение |
|---|---|---|---|
| Assist | Горячая клавиша / кнопка | Экран + недавний разговор | Универсальная помощь: решение задач или подсказки в диалоге |
| What should I say? | Кнопка | Аудио собеседника + ваш микрофон | Подсказки, что ответить в реальном времени |
| Follow-up questions | Кнопка | Вся запись разговора | Уточняющие вопросы по итогам встречи |
| Recap | Кнопка | Вся запись разговора | Краткое содержание встречи |
| Solve a coding problem | Кнопка | Только экран | Решение задач по коду с анализом сложности |
Настройка и совместимость с ИИ-моделями
Cue не имеет своего сервера и не хранит данные. Пользователь предоставляет свой API-ключ. Приложение поддерживает OpenAI, Anthropic (Claude) и Google Gemini. Для функций прослушивания (транскрипции) ключ OpenAI должен иметь доступ к Whisper, иначе возникнет ошибка 403.
| Провайдер | Где получить ключ | Особенности использования в Cue |
|---|---|---|
| OpenAI | platform.openai.com/api-keys | Универсальный ключ. Требует включенного доступа к Whisper для аудио-функций. |
| Anthropic (Claude) | console.anthropic.com | Отлично подходит для анализа экрана и кода. Нет встроенной транскрипции речи — нужен бэкап-ключ от OpenAI/Gemini для аудио. |
| Google Gemini | aistudio.google.com/apikey | Универсальный ключ: покрывает и чат, и транскрипцию аудио. |
Установка и технические требования
Для разработчиков доступен запуск из исходного кода (требуется Node.js 22.12+). Для обычных пользователей — готовые сборки для macOS и Windows. На macOS может потребоваться ручное разрешение на запись экрана и микрофон в настройках приватности. Для корректной работы в Zoom необходимо выбрать режим захвата экрана "Advanced capture with window filtering", иначе Cue может стать видимым.
Источник: Github ↗