AIKraft/AI/Поиск…⌘KВойти

RunanywhereAI/runanywhere-sdks

Готовый к продакшену набор инструментов для локального запуска ИИ

Инференс⭐ 10 295C++последний релиз: cpp-desktop-v0.20.37
Открыть на GitHub ↗Сайт проекта ↗

Что это за инструмент

RunAnywhere — это набор SDK для интеграции искусственного интеллекта непосредственно в мобильные и веб-приложения, обеспечивающий выполнение всех вычислений локально на устройстве пользователя.

Зачем нужен

Инструмент позволяет разработчикам добавлять функции ИИ в свои приложения без необходимости подключения к облачным серверам, что гарантирует полную конфиденциальность данных, отсутствие задержек и работу в офлайн-режиме. Он упрощает развертывание моделей LLM, обработки голоса и генерации изображений на устройствах конечных пользователей.

Что можно реализовать

  • Создание чат-ботов с поддержкой LLM (Llama, Mistral, Qwen), работающих полностью офлайн
  • Разработка голосовых помощников с конвейером STT → LLM → TTS без отправки аудио в облако
  • Генерация изображений с использованием диффузионных моделей прямо на устройстве
  • Анализ изображений и текста с помощью визуальных языковых моделей (VLM) на мобильных устройствах
  • Интеграция ИИ-функций в кроссплатформенные приложения на React Native и Flutter

Ключевые возможности

  • Полностью локальное выполнение (on-device) без передачи данных в облако
  • Поддержка широкого спектра моделей: LLM, Whisper (STT), нейросетевой TTS и диффузионных моделей
  • Нативная поддержка iOS/macOS (Swift), Android (Kotlin), а также бета-версии для Web, React Native и Flutter
  • Простой API для загрузки моделей, генерации текста и обработки голоса
  • Лицензия Apache 2.0 и открытый исходный код

👤 Кому подойдёт: Мобильные и кроссплатформенные разработчики, а также компании, разрабатывающие приложения с акцентом на приватность данных и работу в условиях отсутствия интернета.

Релизы

cpp-desktop-v0.20.37patch
🕐 13 дн назад · релиз на GitHub ↗

Выпуск desktop-пакетов C++ для RunAnywhere 0.20.37 с исправлением ложных предупреждений в CLI wally.

  • Added: Добавлены desktop-пакеты C++ для платформ macos-arm64, windows-x64 и windows-arm64.
  • Fixed: Исправлено ложное предупреждение [RAC][WARN] -811, возникавшее при каждой команде wally.
  • Added: Релиз изолирован от основного цикла SDK и не включает поддержку Android, Flutter, RN, Web или iOS.
v0.20.36minor
🕐 18 дн назад · релиз на GitHub ↗

Выпуск v0.20.36: добавлена категория моделей MODEL_CATEGORY_OCR.

  • Added: Добавлена поддержка категории моделей MODEL_CATEGORY_OCR.
v0.20.35minorbreaking
🕐 19 дн назад · релиз на GitHub ↗

Выпуск v0.20.35 с обновлением ABI до версии 11 и добавлением возможности использования OCR через SDK.

  • Added: OCR теперь доступен для использования через SDK.
  • Breaking: ABI обновлён до версии 11.
v0.20.34minor
🕐 19 дн назад · релиз на GitHub ↗

Выпуск v0.20.34: модель NeuRT TTS теперь генерирует аудио в формате float32 PCM вместо int16.

  • Added: NeuRT TTS теперь эмитирует аудио в формате float32 PCM.
  • Fixed: Обновлены тесты для корректной проверки контракта float32 PCM.
v0.20.33patch
🕐 19 дн назад · релиз на GitHub ↗

Выпуск v0.20.33: завершение реализации примитивов TTS в NeuRT с удалением последнего null-примитива.

  • Added: Завершена работа над примитивами синтеза речи (TTS) в NeuRT, удалён последний null-примитив.
v0.20.32majorbreaking
🕐 20 дн назад · релиз на GitHub ↗

Релиз v0.20.32: ABI v10, поддержка EMBED_IMAGE и новые слоты для NeuRT (embedding, rerank, VLM, vision).

  • Breaking: Обновление ABI до версии 10, что может потребовать адаптации существующего кода.
  • Added: Добавлена поддержка EMBED_IMAGE для работы с изображениями.
  • Added: NeuRT получил новые слоты для embedding, rerank, VLM и vision.
  • Added: Опубликованы деревья навыков .claude/ и .agents/, доступ к которым контролируется CI.
  • Fixed: Документирована проблема с устареванием checksum для версий v0.20.30/v0.20.31 и баг устройства QHexRT.
v0.20.31patch
🕐 24 дн назад · релиз на GitHub ↗

Исправлены устаревшие контрольные суммы для RACommons и RunAnywhereMLXRuntime, а также устранено принудительное включение QNN-устройства.

  • Fixed: Обновлены устаревшие контрольные суммы для RACommons и RunAnywhereMLXRuntime.
  • Fixed: Исправлена ошибка, из-за которой устройство QNN принудительно включалось только для логирования архитектуры.
  • Fixed: Исправлена устаревшая контрольная сумма для RunAnywhereMLXRuntime в версии v0.20.30.
v0.20.30patch
🕐 25 дн назад · релиз на GitHub ↗

Исправление ошибок для Bonsai/Maple на Windows, упаковка QHexRT и обновление чексумм.

  • Fixed: Исправлена инициализация переменной ADSP_LIBRARY_PATH для скелетов Bonsai/Maple в Electron на Windows.
  • Fixed: Файлы скелета QHexRT теперь упаковываются в приватный оверлей RCLI.
  • Fixed: Обновлена устаревшая чексумма RACommons для версии v0.20.30.
  • Документированы уроки конвейера релизов v0.20.29 для предотвращения повторения ошибок.
v0.20.29patch
🕐 25 дн назад · релиз на GitHub ↗

Исправления для Windows ARM64, Flutter и CI, а также обновление зависимостей NeuRT и QHexRT до версии v0.20.29.

  • Fixed: Исправлена сборка Windows ARM64 C++ kit: добавлен файл libcurl.lib.
  • Fixed: Устранены ошибки проверки версий в CI и Flutter podspec для релизов с временными привязками.
  • Fixed: Исправлено требование к именам файлов для kit sha256 sidecars (теперь только базовые имена).
  • Обновлены зависимости NeuRT и QHexRT до версии neurun v0.20.29.
  • Сняты временные привязки с манифестов Apple и Android, выпущены реальные архивы v0.20.29.
v0.20.28minor
🕐 27 дн назад · релиз на GitHub ↗

Добавлен префикс find_package для C++ desktop RCLI, упрощающий интеграцию в проекты на CMake.

  • Added: Добавлен префикс find_package для RCLI в сборке C++ desktop, что упрощает подключение библиотеки через CMake.
v0.20.27patch
🕐 27 дн назад · релиз на GitHub ↗

Выпуск версии 0.20.27 с исправлением ошибок, включая синхронизацию контрольных сумм для публикации в Apple.

  • Fixed: Исправлена ошибка публикации, связанная с синхронизацией Apple checksums.
  • Fixed: Устранены замечания CodeRabbit из предыдущего pull request.
  • Осуществлён релиз версии 0.20.27.
v0.20.25minor
🕐 29 дн назад · релиз на GitHub ↗

Релиз v0.20.25: добавлена поддержка Apple Neural Engine, исправлены ошибки инициализации LLM и пути SDK, улучшена работа с llamacpp.

  • Added: Добавлен пакет бэкенда NeuRT (Apple Neural Engine) для Electron.
  • Fixed: Исправлен порядок инициализации LLM в HttpServer::loadModel.
  • Fixed: На Windows DLL QNN runtime теперь корректно загружаются из директории плагина.
  • Added: llamacpp теперь учитывает параметры accelerator_policy и context_length.
  • Fixed: Пути SDK разрешаются через RAC_ROOT_DIR для корректной встраиваемости commons.
v0.20.24patch
🕐 1 мес назад · релиз на GitHub ↗

Исправлена сборка WebGPU для релизной версии на Linux с использованием emsdk 6.

  • Fixed: Устранена ошибка сборки WebGPU в релизном билде на Linux (emsdk 6).
  • Подготовка релиза версии 0.20.24.
v0.20.19minor
🕐 1 мес назад · релиз на GitHub ↗

Релиз v0.20.19: добавлена модель LiquidAI LFM2.5-VL-3B, исправлены баги React Native Android и QHexRT каталога.

  • Added: Добавлена поддержка модели LiquidAI LFM2.5-VL-3B (форматы GGUF, MLX 4-bit, HNPU v81).
  • Fixed: Исправлена работа React Native для Android: добавлен недостающий заголовочный файл и экспортированы необходимые типы.
  • Fixed: Устранены проблемы в каталоге QHexRT: добавлена недостающая политика и исправлена логика загрузки состояний.
  • Fixed: Исправлена работа веб-версии: флаг --webgpu теперь корректно включает RAG, а время HTTP-запросов измеряется точно.
  • Added: Внедрена защита при публикации артефактов (fail-closed gate) и уточнена информация о доступных платформах для Electron.
v0.20.18minor
🕐 1 мес назад · релиз на GitHub ↗

Релиз v0.20.18: масштабная переработка Electron SDK, исправления багов и оптимизация потоков в Web, Python и Flutter.

  • Added: Миграция Electron SDK на общий протокол ABI, обновление TypeScript-обертки и разделение пакетов.
  • Added: Добавлена поддержка бэкенда qhexrt для Electron SDK.
  • Fixed: Исправлены утечки ресурсов и ошибки потоков в Web, Python, Flutter и React Native.
  • Fixed: Оптимизирован горячий путь потоковой передачи VLM и устранена утечка сессии VAD.
  • Fixed: Исправлена сборка WebGPU WASM с поддержкой RAG и синхронизированы контрольные суммы для Apple.
v0.20.17minor
🕐 1 мес назад · релиз на GitHub ↗

Обновление всех SDK до версии 0.20.17: исправлен Electron-пакет, добавлен бэкенд QHexRT, улучшена совместимость SwiftPM и переструктурирован репозиторий.

  • Fixed: Исправлен пакет @runanywhere/electron-qhexrt@0.20.16, который был опубликован без папки dist и не работал; теперь сборка происходит перед упаковкой.
  • Added: Добавлен бэкенд Electron QHexRT (issue #664).
  • Fixed: Улучшена совместимость SwiftPM: манифест больше не фиксирует зависимости по git-ревизиям, что позволяет использовать .package(url: ..., from: "0.20.17").
  • Added: Репозиторий переструктурирован: код разделён на папки core/, bindings/<lang>/ и apps/rcli/.
v0.20.14minor
🕐 1 мес назад · релиз на GitHub ↗

Релиз 0.20.14: добавлен модуль NeuRT для Swift, исправлены ошибки в Flutter, React Native и Kotlin, улучшена стабильность сборки.

  • Added: Добавлен модуль NeuRT для Swift и обновлена документация.
  • Fixed: Исправлена категоризация кодов ошибок генерации в React Native.
  • Fixed: Устранена проблема с отменой вызовов инструментов в Flutter.
  • Fixed: Исправлено измерение скорости токенов в Kotlin и ошибка удаления моделей в Flutter.
  • Added: Настроена сборка WebGPU ONNX WASM и улучшена стабильность тестов.
v0.20.13minor
🕐 1 мес назад · релиз на GitHub ↗

Выпущен релиз RunAnywhere SDK v0.20.13 с поддержкой Swift и Apple-бинарников, включая новый пакет RunAnywhereANE.

  • Added: Добавлен автономный Swift-пакет RunAnywhereANE для генерации текста через Apple Neural Engine и диффузии через CoreML.
  • Added: Все XCFramework-сборки теперь включают срезы для iOS-устройств, iOS-симуляторов и macOS.
  • Added: Пакет доступен через Swift Package Manager; список продуктов расширен до RunAnywhere, LlamaCPP, ONNX, MLX и ANE.
v0.20.12minorbreaking
🕐 1 мес назад · релиз на GitHub ↗

Релиз SDK v0.20.12: новые артефакты для Android и Swift, исправления для rcli и рекомендации по управлению NPU.

  • Added: Опубликованы новые артефакты для Kotlin/Android, включая специализированный пакет runanywhere-qhexrt-android.
  • Added: Добавлены XCFramework и ресурсы MLX для SwiftPM с версией SDK 0.20.12.
  • Fixed: В сборку включен Linux-клиент rcli, хотя macOS и Windows версии пропущены из-за проблем с подписью в CI.
  • Breaking: Рекомендуется использовать принудительное завершение процесса или жесткий сброс между моделями HNPU вместо мягкой выгрузки.
v0.19.13patch
🕐 5 мес назад · релиз на GitHub ↗

Исправлена ошибка в скрипте sync-checksums.sh, вызывавшая загрязнение данных при кросс-целевой проверке.

  • Fixed: Устранён баг в скрипте sync-checksums.sh, приводивший к пересечению данных при проверке на разных целевых платформах.