В эпоху, когда большинство AI-ассистентов требуют постоянного подключения к интернету и передачи ваших данных через серверы третьих лиц, появляется альтернатива, которая ставит приватность и скорость на первое место. RCLI — это не просто еще один чат-бот в терминале. Это полноценная голосовая AI-система для macOS, которая работает исключительно на вашем устройстве. Никаких облаков, никаких API-ключей, никакой передачи личных разговоров в сторонние сервисы. Всё, что вам нужно, — это Mac на базе Apple Silicon.
Представьте себе сценарий: вы диктуете заметки, управляете музыкой, анализируете скриншоты или задаете вопросы по своим локальным документам, и всё это происходит мгновенно, без задержек, характерных для облачных решений. RCLI объединяет в себе распознавание речи (STT), генеративные языковые модели (LLM), синтез речи (TTS) и компьютерное зрение (VLM) в единый конвейер, оптимизированный для работы с графическими процессорами Apple. Это инструмент для тех, кто ценит конфиденциальность, скорость и полный контроль над своими данными.
01Что такое RCLI и почему это важно?
RCLI (Runanywhere CLI) позиционируется как «голосовой AI для вашего Mac», но его возможности выходят далеко за рамки простого голосового ввода. Это комплексная инфраструктура, которая позволяет взаимодействовать с операционной системой и файлами через естественный язык. Ключевая особенность RCLI — отсутствие зависимости от внешних серверов. Вся обработка данных происходит локально, на чипе Apple Silicon вашего компьютера.
Это решает сразу несколько критических проблем современных AI-ассистентов. Во-первых, приватность. Ваши голосовые команды, тексты документов и изображения никогда не покидают ваше устройство. Во-вторых, скорость. Поскольку данные не нужно отправлять в облако и ждать ответа, задержка (latency) сводится к минимуму. RCLI заявляет о времени отклика менее 200 миллисекунд для всего конвейера обработки голоса. В-третьих, доступность. Вы можете использовать AI даже в местах с плохим или отсутствующим интернет-соединением, например, в самолете или в удаленном офисе.
Архитектурно RCLI опирается на два основных движка: проприетарный MetalRT, разработанный компанией RunAnywhere Inc. специально для Apple Silicon, и открытый проект llama.cpp. Выбор движка зависит от вашего оборудования. На чипах M3 и новее система использует MetalRT для максимальной производительности, а на M1 и M2 автоматически переключается на llama.cpp, обеспечивая совместимость с более старыми устройствами.
02Движок MetalRT: Скорость на чипе Apple Silicon
Сердцем производительности RCLI на современных Mac является MetalRT. Это проприетарный движок инференса GPU, созданный специально для архитектуры Apple Silicon. Он использует возможности Metal 3.1, доступные на чипах M3, M3 Pro, M3 Max, M4 и новее. Для пользователей M1 и M2 RCLI предлагает автоматический фоллбэк на open-source движок llama.cpp, что делает инструмент доступным для широкой аудитории.
Производительность MetalRT впечатляет. Движок обеспечивает пропускную способность декодирования LLM до 550 токенов в секунду. Это означает, что ответы генерируются практически мгновенно, создавая эффект живого диалога. Кроме того, MetalRT оптимизирован для задач распознавания и синтеза речи. STT (распознавание речи) работает в 714 раз быстрее реального времени, что позволяет обрабатывать голосовой ввод в режиме реального времени без задержек. TTS (синтез речи) также работает с высокой скоростью, обеспечивая плавное озвучивание ответов.
Важно отметить, что MetalRT распространяется под проприетарной лицензией. Это отличает его от полностью open-source экосистемы вокруг llama.cpp. Однако для большинства пользователей это не является препятствием, так как интеграция происходит автоматически. При установке RCLI вы можете выбрать установку MetalRT, llama.cpp или обоих движков одновременно. Управление движками осуществляется через команды rcli metalrt и rcli llamacpp.
03Голосовой конвейер: От голоса к действию
RCLI реализует полный конвейер обработки голоса, состоящий из четырех основных этапов: обнаружение голоса (VAD), распознавание речи (STT), генерация ответа (LLM) и синтез речи (TTS). Этот процесс работает с тремя параллельными потоками, что обеспечивает высокую эффективность использования ресурсов GPU.
На этапе VAD используется модель Silero для определения начала и конца речи. Это позволяет системе «слушать» в фоновом режиме, но реагировать только тогда, когда вы действительно говорите. Для распознавания речи RCLI предлагает несколько вариантов: потоковую модель Zipformer для реального времени, а также офлайн-модели Whisper и Parakeet. Parakeet TDT 0.6B демонстрирует низкий уровень ошибки распознавания (WER ~1.9%), что делает его отличным выбором для точного понимания команд.
Языковая модель (LLM) отвечает за понимание смысла и генерацию ответа. RCLI поддерживает модели Qwen3, LFM2 и Qwen3.5, используя кэш KV (Key-Value) и Flash Attention для ускорения обработки. Это позволяет сохранять контекст разговора и быстро генерировать ответы. Для синтеза речи используются модели TTS, такие как Piper, KittenTTS, Matcha и Kokoro. Kokoro особенно интересен тем, что поддерживает 28 различных голосов и несколько языков, что позволяет персонализировать опыт взаимодействия.
Ctrl+C в интерфейсе TUI, чтобы очистить историю и сбросить контекст. Это часто решает проблемы с ненадежным вызовом инструментов.04Управление Mac голосом: 40 действий
Одной из самых мощных функций RCLI является возможность управления macOS через голос или текст. Система поддерживает 40 различных действий, которые охватывают продуктивность, коммуникацию, медиа и системные настройки. LLM анализирует ваше намерение и маршрутизирует его к соответствующим действиям, которые выполняются локально через AppleScript и команды оболочки.
Среди доступных действий:
- Продуктивность: создание заметок, напоминаний, запуск автоматизаций (Shortcuts).
- Коммуникация: отправка сообщений, начало видеозвонков через FaceTime.
- Медиа: управление Spotify и Apple Music (воспроизведение, пауза, следующая композиция, регулировка громкости).
- Система: открытие и закрытие приложений, переключение темной темы, создание скриншотов, блокировка экрана.
- Веб: поиск в интернете и YouTube, открытие URL, открытие карт.
Вы можете увидеть полный список действий, выполнив команду rcli actions, или управлять ими прямо в интерактивном интерфейсе (TUI). Это превращает ваш Mac в голосовой центр управления, где вы можете выполнять рутинные задачи, не отрывая рук от клавиатуры или мыши.
05Локальный RAG: Интеллект над вашими документами
RCLI поддерживает локальный Retrieval-Augmented Generation (RAG), что позволяет вам задавать вопросы по своим документам, не загружая их в облако. Система индексирует файлы PDF, DOCX и plain text, создавая гибридную базу данных, которая использует как векторный поиск, так и алгоритм BM25. Это обеспечивает высокую точность и скорость поиска: время извлечения информации составляет около 4 миллисекунд для 5000+ чанков.
Процесс работы с RAG прост. Сначала вы индексируете папку с документами с помощью команды rcli rag ingest /путь/к/документам. Затем вы можете задавать вопросы, используя флаг --rag, например: rcli ask --rag /Library/RCLI/index «подведи итоги плана проекта». Ответ генерируется на основе содержимого ваших файлов, что делает RCLI мощным инструментом для исследователей, студентов и профессионалов, работающих с большими объемами информации.
06Компьютерное зрение: Анализ изображений и экрана
Помимо работы с текстом и голосом, RCLI обладает возможностями компьютерного зрения (VLM). Вы можете анализировать изображения, захватывать кадры с камеры и даже анализировать содержимое экрана вашего Mac. Это особенно полезно для быстрого получения информации о визуальных объектах или скриншотах.
Для анализа изображения используйте команду rcli vlm photo.jpg «опиши это». Для работы с камерой в реальном времени нажмите кнопку камеры в интерфейсе TUI или выполните rcli camera. Для анализа экрана используйте rcli screen. В настоящее время VLM работает на движке llama.cpp, но поддержка MetalRT для задач зрения находится в разработке. Поддерживаемые модели включают Qwen3 VL 2B, Liquid LFM2 VL 1.6B и SmolVLM 500M, которые можно скачать по запросу через rcli models vlm.
07Установка и настройка
RCLI требует macOS 13 или новее. Для использования движка MetalRT необходим чип M3 или новее. На чипах M1 и M2 система автоматически использует llama.cpp. Установка осуществляется через Homebrew или одной командой в терминале.
Для установки через Homebrew выполните:
brew tap RunanywhereAI/rcli https://github.com/RunanywhereAI/RCLI.git
brew install rcli
rcli setupКоманда rcli setup загрузит необходимые модели AI (около 1 ГБ данных). После установки вы можете использовать RCLI в интерактивном режиме, нажав rcli, или в режиме непрерывного прослушивания с помощью rcli listen. Для однократных команд используйте rcli ask.
cd $(brew --repo RunanywhereAI/rcli) && git fetch origin && git reset --hard origin/main, а затем переустановите пакет. Если это не поможет, удалите кэш и переустановите tap.08Интерфейс и управление моделями
RCLI предоставляет удобный терминальный интерфейс (TUI), который позволяет управлять всеми аспектами работы системы. В интерфейсе вы можете переключаться между режимами прослушивания, просматривать доступные модели, управлять действиями и индексами RAG. Горячие клавиши, такие как SPACE для голосового ввода, ESC для выхода и Ctrl+C для сброса контекста, делают взаимодействие интуитивно понятным.
Управление моделями осуществляется через команду rcli models. Вы можете просматривать доступные LLM, STT, TTS и VLM модели, скачивать их и переключаться между ними. По умолчанию устанавливается набор моделей, включающий LFM2 1.2B, Whisper, Piper и Silero VAD, что занимает около 1 ГБ места. Дополнительные модели, такие как VLM, загружаются по мере необходимости.
09Что это значит на практике
RCLI представляет собой значительный шаг вперед в области локальных AI-ассистентов для macOS. Он демонстрирует, что мощные AI-инструменты могут работать быстро, конфиденциально и без зависимости от облачных сервисов. Для пользователей, которые ценят приватность, RCLI предлагает уникальное сочетание возможностей: от голосового управления системой до анализа документов и изображений.
Интеграция с MetalRT на чипах M3 и новее обеспечивает беспрецедентную скорость, делая взаимодействие с AI практически мгновенным. Поддержка M1 и M2 через llama.cpp расширяет доступность инструмента на более старом оборудовании. Наличие локального RAG и компьютерного зрения делает RCLI не просто голосовым помощником, а полноценным интеллектуальным агентом, способным работать с вашими данными и окружением.
Если вы ищете способ интегрировать AI в свой рабочий процесс на Mac, сохраняя при этом полный контроль над своими данными, RCLI — это инструмент, который стоит попробовать. Он открыт для сообщества, активно развивается и предлагает мощные возможности для тех, кто готов освоить работу с терминалом и настройкой локальных моделей.
10Заключение
RCLI — это больше, чем просто CLI-инструмент. Это пример того, как можно использовать локальные вычислительные мощности для создания умных, приватных и быстрых AI-решений. С поддержкой множества моделей, интеграцией с macOS и оптимизацией под Apple Silicon, RCLI занимает прочные позиции в нише локальных AI-ассистентов. Попробуйте его, чтобы оценить, как голосовой AI может изменить ваше взаимодействие с компьютером.
Источник: Hacker News ↗