argmaxinc/argmax-oss-swift

Локальный речевой ИИ для Apple Silicon

Аудио⭐ 6 444Swiftпоследний релиз: v1.1.1

Что это за инструмент

Argmax Open-Source SDK — это набор Swift-библиотек для запуска моделей искусственного интеллекта (распознавание речи, синтез речи, идентификация говорящих) непосредственно на устройствах Apple Silicon.

Зачем нужен

Инструмент позволяет разработчикам интегрировать on-device AI-функции в приложения без необходимости отправки данных на внешние серверы, что обеспечивает конфиденциальность и работу офлайн. Он упрощает использование моделей Whisper, Pyannote и Qwen-TTS через нативный Swift API.

Что можно реализовать

Локальное распознавание речи (speech-to-text) в мобильных или десктопных приложениях для macOS/iOS
Синтез речи (text-to-speech) с использованием моделей Qwen-TTS прямо на устройстве
Диааризация аудио (разделение говорящих) с помощью модели Pyannote
Запуск локального HTTP-сервера для обработки аудио-запросов от других приложений
Создание голосовых помощников с приватностью данных, не требующих интернета

Ключевые возможности

Поддержка трех ключевых модулей: WhisperKit (STT), SpeakerKit (diarization), TTSKit (TTS)
Работа полностью on-device на Apple Silicon (macOS 14.0+, Xcode 16.0+)
Удобная установка через Swift Package Manager (SPM) и Homebrew
Встроенный Swift CLI для тестирования и локальный сервер с API
Открытая лицензия с возможностью перехода на Pro SDK для расширенных функций

👤 Кому подойдёт: Разработчики приложений для экосистемы Apple (iOS, macOS), использующие Swift, которым нужны приватные и быстрые AI-функции обработки аудио без зависимости от облачных API.

Релизы

v1.1.1patchbreaking

🕐 28 дн назад · релиз на GitHub ↗

Исправлены краши, улучшена работа с Hugging Face и аудио-сессиями, удалены force unwraps.

Breaking: Токены Hugging Face больше не читаются из файловой системы автоматически; теперь их нужно передавать в конфиг или задавать через переменную окружения HF_TOKEN.
Fixed: Отмененное скачивание модели с Hub теперь корректно выбрасывает CancellationError, предотвращая ложное успешное завершение с неполными данными.
Added: AudioStreamTranscriber получил опциональный параметр inputDeviceID для выбора конкретного устройства ввода вместо системного по умолчанию.
Fixed: Заменены force unwraps на типизированные ошибки при выборке логитов, улучшена обработка ошибок аутентификации с выводом HTTP-кода.
Added: Добавлены параметры preserveExistingAudioSession и useBackgroundSession для гибкой настройки аудио-сессий и фоновых загрузок в TTSKit и WhisperKit.

v1.1.0majorbreaking

🕐 3 мес назад · релиз на GitHub ↗

WhisperKit: экономия памяти через инкрементальную загрузку. TTSKit: ускорение Qwen3-TTS. SpeakerKit: центроиды спикеров. Ломающие изменения для TTSKit.

Added: WhisperKit: инкрементальная загрузка аудио снижает пиковое потребление памяти более чем на 70% для длинных файлов.
Added: TTSKit: ускорение Qwen3-TTS на ~40% благодаря новым режимам декодирования SpeechDecoder и MultiCodeDecoder.
Added: SpeakerKit: добавлены центроидные эмбеддинги спикеров для сопоставления голосов между разными запусками диаризации.
Fixed: Исправлены ошибки в подсчете promptTokens, таймкодах для китайского языка, границах чанков TTS и путях кэширования моделей.
Breaking: TTSKit теперь требует macOS 15 / iOS 18; изменены модели по умолчанию, требуется однократная загрузка новых активов.

v1.0.0majorbreaking

🕐 6 мес назад · релиз на GitHub ↗

Релиз v1.0.0: переименование в Argmax Open-Source SDK, полная поддержка Swift 6 и удаление устаревших API.

Added: Проект переименован в Argmax Open-Source SDK, объединяющий WhisperKit, SpeakerKit, TTSKit и ArgmaxCore.
Added: Добавлена полная поддержка многопоточности Swift 6 и динамическая библиотека для бинарной дистрибуции.
Added: Исходные коды Hub и Tokenizers из swift-transformers включены в состав SDK для независимой сборки.
Added: Обновленный CLI argmax-cli поддерживает локальный сервер с OpenAI-совместимым API для транскрипции.
Breaking: Удалены все устаревшие API, включая старые сигнатуры методов транскрипции и глобальные функции.