RunanywhereAI/runanywhere-sdks

Готовый к продакшену набор инструментов для локального запуска ИИ

Инференс⭐ 10 325C++последний релиз: cpp-desktop-v0.20.39

Что это за инструмент

RunAnywhere — это набор SDK для интеграции искусственного интеллекта непосредственно в мобильные и веб-приложения, обеспечивающий выполнение всех вычислений локально на устройстве пользователя.

Зачем нужен

Инструмент позволяет разработчикам добавлять функции ИИ в свои приложения без необходимости подключения к облачным серверам, что гарантирует полную конфиденциальность данных, отсутствие задержек и работу в офлайн-режиме. Он упрощает развертывание моделей LLM, обработки голоса и генерации изображений на устройствах конечных пользователей.

Что можно реализовать

Создание чат-ботов с поддержкой LLM (Llama, Mistral, Qwen), работающих полностью офлайн
Разработка голосовых помощников с конвейером STT → LLM → TTS без отправки аудио в облако
Генерация изображений с использованием диффузионных моделей прямо на устройстве
Анализ изображений и текста с помощью визуальных языковых моделей (VLM) на мобильных устройствах
Интеграция ИИ-функций в кроссплатформенные приложения на React Native и Flutter

Ключевые возможности

Полностью локальное выполнение (on-device) без передачи данных в облако
Поддержка широкого спектра моделей: LLM, Whisper (STT), нейросетевой TTS и диффузионных моделей
Нативная поддержка iOS/macOS (Swift), Android (Kotlin), а также бета-версии для Web, React Native и Flutter
Простой API для загрузки моделей, генерации текста и обработки голоса
Лицензия Apache 2.0 и открытый исходный код

👤 Кому подойдёт: Мобильные и кроссплатформенные разработчики, а также компании, разрабатывающие приложения с акцентом на приватность данных и работу в условиях отсутствия интернета.

Релизы

cpp-desktop-v0.20.39minor

🕐 7 дн назад · релиз на GitHub ↗

Выход версии 0.20.39: добавлена поддержка решений на базе моделей D1 и GLiNER для десктопных SDK.

Added: Добавлена поддержка текстовых решений на базе моделей D1 и GLiNER.
Added: Обновлены десктопные наборы SDK до версии 0.20.39.

cpp-desktop-v0.20.37-1patch

🕐 11 дн назад · релиз на GitHub ↗

Исправлен CPU-only контекст (убрано ограничение 4096), исключены AVX-512/AMX/SVE, восстановлен llama.cpp для Windows ARM64.

Fixed: CPU-only контекст теперь корректно обрабатывается без жесткого ограничения в 4096.
Fixed: Убраны генерации кода для AVX-512, AMX и SVE в сборках.
Fixed: Восстановлена поддержка llama.cpp в наборе инструментов для Windows ARM64.

cpp-desktop-v0.20.38-4minor

🕐 12 дн назад · релиз на GitHub ↗

В Windows ARM64-сборку добавлен бэкенд llamacpp. Остальные платформы остались без изменений.

Added: Windows ARM64-пакет теперь включает бэкенд llamacpp (rac_backend_llamacpp.lib).
Added: Сборка llamacpp выполнена на основе форка llama.cpp с тегом runanywhere-b10453.7 для исправления MSVC-ARM в ggml.
macOS ARM64, Windows x64 и Linux-сборки остались без изменений по сравнению с версией -3.

cpp-desktop-v0.20.38-3patch

🕐 12 дн назад · релиз на GitHub ↗

Пересборка Linux-пакетов на базе glibc 2.35 для совместимости с Ubuntu 22.04.

Fixed: Linux-пакеты пересобраны на базе glibc 2.35 (Ubuntu 22.04), что устраняет зависимость от GLIBC_2.38.
Added: Обновлена сборка Sherpa-ONNX desktop (v1.13.5-rac-desktop.6) для Linux.
Пакеты для macOS и Windows остались без изменений.

v0.20.38minor

🕐 12 дн назад · релиз на GitHub ↗

Релиз v0.20.38: добавлены Apple XCFrameworks и C++ desktop-киты с поддержкой decision support.

Added: Выпущены Apple XCFrameworks (RACommons, RABackendLLAMACPP, RABackendMLX и др.) с ABI v13 для decision ops.
Added: Добавлены C++ desktop-киты для macOS ARM64, Linux x64/ARM64 и Windows x64/ARM64.
Added: Включена поддержка Swift-колбэков через RunAnywhereMLXRuntime и Metal-ресурсы.
Релиз ограничен: веб, Android, Kotlin, RN и Electron не затронуты.

cpp-desktop-v0.20.38-2minor

🕐 12 дн назад · релиз на GitHub ↗

Релиз 0.20.38-2: добавлена поддержка локальных решений (decision primitive) для всех платформ через новый C ABI и IDL 1.5.0.

Added: Добавлена поддержка локальных решений (decision primitive) на всех платформах.
Added: Представлен новый C ABI для плагинов решений (plugin ABI v13) с префиксом rac_decision_.
Added: Обновлен IDL до версии 1.5.0 и добавлены сгенерированные заголовки decision.pb.h.
Added: Внедрено версионирование форматов промптов: запросы с несовпадением версий блокируются.
Added: Интегрированы операции решений llamacpp из закрепленного форка b10453.6.

cpp-desktop-v0.20.38minor

🕐 22 дн назад · релиз на GitHub ↗

Выход C++ desktop-китов Wally для macOS, Linux и Windows с отчетами о контексте и поддержке ARM64.

Added: Добавлена отчетность о фактическом загруженном контексте после подгонки под устройство.
Added: Реализован вывод MLX-контекста из конфигурации загруженной модели.
Added: Включены публичные киты для macOS ARM64, Linux x64, Windows x64 и Windows ARM64.
Added: Linux-сборки ориентированы на ABI-базу Ubuntu 22.04.

v0.20.37patch

🕐 23 дн назад · релиз на GitHub ↗

Исправлены критические ошибки в RAG, VLM, STT и сетевых модулях, улучшена стабильность работы с моделями на всех платформах.

Fixed: Исправлена инициализация LLM-сервиса и корректная обработка параметров (temperature, top_k) в RAG-сессиях.
Fixed: Устранены сбои при работе с VLM: исправлены ошибки выделения памяти и конвертации параметров изображений.
Fixed: В Android-модуле исправлена обработка ошибок JNI, маршалинга запросов OkHttp и отмены потоков.
Fixed: В Web-среде восстановлена работа владельцев после teardown бэкенда и исправлена обработка ошибок потоков.
Fixed: В Electron исправлено чтение файлов моделей на Windows (64-bit offsets) и унифицирована таблица ошибок.
Fixed: В llamacpp восстановлена поддержка параметра gpu_layers=-1 для полного выгрузки слоев на GPU.

cpp-desktop-v0.20.37patch

🕐 1 мес назад · релиз на GitHub ↗

Выпуск desktop-пакетов C++ для RunAnywhere 0.20.37 с исправлением ложных предупреждений в CLI wally.

Added: Добавлены desktop-пакеты C++ для платформ macos-arm64, windows-x64 и windows-arm64.
Fixed: Исправлено ложное предупреждение [RAC][WARN] -811, возникавшее при каждой команде wally.
Added: Релиз изолирован от основного цикла SDK и не включает поддержку Android, Flutter, RN, Web или iOS.

v0.20.36minor

🕐 1 мес назад · релиз на GitHub ↗

Выпуск v0.20.36: добавлена категория моделей MODEL_CATEGORY_OCR.

Added: Добавлена поддержка категории моделей MODEL_CATEGORY_OCR.

v0.20.35minorbreaking

🕐 1 мес назад · релиз на GitHub ↗

Выпуск v0.20.35 с обновлением ABI до версии 11 и добавлением возможности использования OCR через SDK.

Added: OCR теперь доступен для использования через SDK.
Breaking: ABI обновлён до версии 11.

v0.20.34minor

🕐 1 мес назад · релиз на GitHub ↗

Выпуск v0.20.34: модель NeuRT TTS теперь генерирует аудио в формате float32 PCM вместо int16.

Added: NeuRT TTS теперь эмитирует аудио в формате float32 PCM.
Fixed: Обновлены тесты для корректной проверки контракта float32 PCM.

v0.20.33patch

🕐 1 мес назад · релиз на GitHub ↗

Выпуск v0.20.33: завершение реализации примитивов TTS в NeuRT с удалением последнего null-примитива.

Added: Завершена работа над примитивами синтеза речи (TTS) в NeuRT, удалён последний null-примитив.

v0.20.32majorbreaking

🕐 1 мес назад · релиз на GitHub ↗

Релиз v0.20.32: ABI v10, поддержка EMBED_IMAGE и новые слоты для NeuRT (embedding, rerank, VLM, vision).

Breaking: Обновление ABI до версии 10, что может потребовать адаптации существующего кода.
Added: Добавлена поддержка EMBED_IMAGE для работы с изображениями.
Added: NeuRT получил новые слоты для embedding, rerank, VLM и vision.
Added: Опубликованы деревья навыков .claude/ и .agents/, доступ к которым контролируется CI.
Fixed: Документирована проблема с устареванием checksum для версий v0.20.30/v0.20.31 и баг устройства QHexRT.

v0.20.31patch

🕐 1 мес назад · релиз на GitHub ↗

Исправлены устаревшие контрольные суммы для RACommons и RunAnywhereMLXRuntime, а также устранено принудительное включение QNN-устройства.

Fixed: Обновлены устаревшие контрольные суммы для RACommons и RunAnywhereMLXRuntime.
Fixed: Исправлена ошибка, из-за которой устройство QNN принудительно включалось только для логирования архитектуры.
Fixed: Исправлена устаревшая контрольная сумма для RunAnywhereMLXRuntime в версии v0.20.30.

v0.20.30patch

🕐 1 мес назад · релиз на GitHub ↗

Исправление ошибок для Bonsai/Maple на Windows, упаковка QHexRT и обновление чексумм.

Fixed: Исправлена инициализация переменной ADSP_LIBRARY_PATH для скелетов Bonsai/Maple в Electron на Windows.
Fixed: Файлы скелета QHexRT теперь упаковываются в приватный оверлей RCLI.
Fixed: Обновлена устаревшая чексумма RACommons для версии v0.20.30.
Документированы уроки конвейера релизов v0.20.29 для предотвращения повторения ошибок.

v0.20.29patch

🕐 1 мес назад · релиз на GitHub ↗

Исправления для Windows ARM64, Flutter и CI, а также обновление зависимостей NeuRT и QHexRT до версии v0.20.29.

Fixed: Исправлена сборка Windows ARM64 C++ kit: добавлен файл libcurl.lib.
Fixed: Устранены ошибки проверки версий в CI и Flutter podspec для релизов с временными привязками.
Fixed: Исправлено требование к именам файлов для kit sha256 sidecars (теперь только базовые имена).
Обновлены зависимости NeuRT и QHexRT до версии neurun v0.20.29.
Сняты временные привязки с манифестов Apple и Android, выпущены реальные архивы v0.20.29.

v0.20.28minor

🕐 1 мес назад · релиз на GitHub ↗

Добавлен префикс find_package для C++ desktop RCLI, упрощающий интеграцию в проекты на CMake.

Added: Добавлен префикс find_package для RCLI в сборке C++ desktop, что упрощает подключение библиотеки через CMake.

v0.20.27patch

🕐 1 мес назад · релиз на GitHub ↗

Выпуск версии 0.20.27 с исправлением ошибок, включая синхронизацию контрольных сумм для публикации в Apple.

Fixed: Исправлена ошибка публикации, связанная с синхронизацией Apple checksums.
Fixed: Устранены замечания CodeRabbit из предыдущего pull request.
Осуществлён релиз версии 0.20.27.

v0.20.25minor

🕐 1 мес назад · релиз на GitHub ↗

Релиз v0.20.25: добавлена поддержка Apple Neural Engine, исправлены ошибки инициализации LLM и пути SDK, улучшена работа с llamacpp.

Added: Добавлен пакет бэкенда NeuRT (Apple Neural Engine) для Electron.
Fixed: Исправлен порядок инициализации LLM в HttpServer::loadModel.
Fixed: На Windows DLL QNN runtime теперь корректно загружаются из директории плагина.
Added: llamacpp теперь учитывает параметры accelerator_policy и context_length.
Fixed: Пути SDK разрешаются через RAC_ROOT_DIR для корректной встраиваемости commons.

v0.20.24patch

🕐 2 мес назад · релиз на GitHub ↗

Исправлена сборка WebGPU для релизной версии на Linux с использованием emsdk 6.

Fixed: Устранена ошибка сборки WebGPU в релизном билде на Linux (emsdk 6).
Подготовка релиза версии 0.20.24.

v0.20.19minor

🕐 2 мес назад · релиз на GitHub ↗

Релиз v0.20.19: добавлена модель LiquidAI LFM2.5-VL-3B, исправлены баги React Native Android и QHexRT каталога.

Added: Добавлена поддержка модели LiquidAI LFM2.5-VL-3B (форматы GGUF, MLX 4-bit, HNPU v81).
Fixed: Исправлена работа React Native для Android: добавлен недостающий заголовочный файл и экспортированы необходимые типы.
Fixed: Устранены проблемы в каталоге QHexRT: добавлена недостающая политика и исправлена логика загрузки состояний.
Fixed: Исправлена работа веб-версии: флаг --webgpu теперь корректно включает RAG, а время HTTP-запросов измеряется точно.
Added: Внедрена защита при публикации артефактов (fail-closed gate) и уточнена информация о доступных платформах для Electron.

v0.20.18minor

🕐 2 мес назад · релиз на GitHub ↗

Релиз v0.20.18: масштабная переработка Electron SDK, исправления багов и оптимизация потоков в Web, Python и Flutter.

Added: Миграция Electron SDK на общий протокол ABI, обновление TypeScript-обертки и разделение пакетов.
Added: Добавлена поддержка бэкенда qhexrt для Electron SDK.
Fixed: Исправлены утечки ресурсов и ошибки потоков в Web, Python, Flutter и React Native.
Fixed: Оптимизирован горячий путь потоковой передачи VLM и устранена утечка сессии VAD.
Fixed: Исправлена сборка WebGPU WASM с поддержкой RAG и синхронизированы контрольные суммы для Apple.

v0.20.17minor

🕐 2 мес назад · релиз на GitHub ↗

Обновление всех SDK до версии 0.20.17: исправлен Electron-пакет, добавлен бэкенд QHexRT, улучшена совместимость SwiftPM и переструктурирован репозиторий.

Fixed: Исправлен пакет @runanywhere/electron-qhexrt@0.20.16, который был опубликован без папки dist и не работал; теперь сборка происходит перед упаковкой.
Added: Добавлен бэкенд Electron QHexRT (issue #664).
Fixed: Улучшена совместимость SwiftPM: манифест больше не фиксирует зависимости по git-ревизиям, что позволяет использовать .package(url: ..., from: "0.20.17").
Added: Репозиторий переструктурирован: код разделён на папки core/, bindings/<lang>/ и apps/rcli/.

v0.20.14minor

🕐 2 мес назад · релиз на GitHub ↗

Релиз 0.20.14: добавлен модуль NeuRT для Swift, исправлены ошибки в Flutter, React Native и Kotlin, улучшена стабильность сборки.

Added: Добавлен модуль NeuRT для Swift и обновлена документация.
Fixed: Исправлена категоризация кодов ошибок генерации в React Native.
Fixed: Устранена проблема с отменой вызовов инструментов в Flutter.
Fixed: Исправлено измерение скорости токенов в Kotlin и ошибка удаления моделей в Flutter.
Added: Настроена сборка WebGPU ONNX WASM и улучшена стабильность тестов.

v0.20.13minor

🕐 2 мес назад · релиз на GitHub ↗

Выпущен релиз RunAnywhere SDK v0.20.13 с поддержкой Swift и Apple-бинарников, включая новый пакет RunAnywhereANE.

Added: Добавлен автономный Swift-пакет RunAnywhereANE для генерации текста через Apple Neural Engine и диффузии через CoreML.
Added: Все XCFramework-сборки теперь включают срезы для iOS-устройств, iOS-симуляторов и macOS.
Added: Пакет доступен через Swift Package Manager; список продуктов расширен до RunAnywhere, LlamaCPP, ONNX, MLX и ANE.

v0.20.12minorbreaking

🕐 2 мес назад · релиз на GitHub ↗

Релиз SDK v0.20.12: новые артефакты для Android и Swift, исправления для rcli и рекомендации по управлению NPU.

Added: Опубликованы новые артефакты для Kotlin/Android, включая специализированный пакет runanywhere-qhexrt-android.
Added: Добавлены XCFramework и ресурсы MLX для SwiftPM с версией SDK 0.20.12.
Fixed: В сборку включен Linux-клиент rcli, хотя macOS и Windows версии пропущены из-за проблем с подписью в CI.
Breaking: Рекомендуется использовать принудительное завершение процесса или жесткий сброс между моделями HNPU вместо мягкой выгрузки.

v0.19.13patch

🕐 5 мес назад · релиз на GitHub ↗

Исправлена ошибка в скрипте sync-checksums.sh, вызывавшая загрязнение данных при кросс-целевой проверке.

Fixed: Устранён баг в скрипте sync-checksums.sh, приводивший к пересечению данных при проверке на разных целевых платформах.