Neywa-Labs/mlx-audio

Библиотека TTS, STT и STS на базе MLX от Apple, обеспечивающая эффективный анализ речи на Apple Silicon.

Аудио⭐ 8 208Pythonпоследний релиз: v0.6.4

Что это за инструмент

MLX-Audio — это библиотека для локального запуска аудио-моделей (TTS, STT, STS) на чипах Apple Silicon с использованием фреймворка MLX.

Зачем нужен

Инструмент позволяет эффективно обрабатывать речь и генерировать музыку непосредственно на Mac без отправки данных в облако. Он полезен для разработчиков, которым нужна быстрая инференс-среда с поддержкой квантования и кастомизации голосов.

Что можно реализовать

Локальная генерация речи (TTS) с выбором голоса и языка через CLI или Python API
Распознавание речи (STT) и преобразование речи в речь (STS) на устройстве
Создание прототипов голосовых помощников с использованием OpenAI-compatible REST API
Интеграция аудио-моделей в iOS/macOS приложения через Swift package

Ключевые возможности

Оптимизация под Apple Silicon (M-серия) для быстрого инференса
Поддержка квантования (3-bit, 4-bit, 6-bit, 8-bit) для экономии памяти
Мультимодальность: TTS, STT, STS и генерация музыки в одном движке
Наличие веб-интерфейса с 3D-визуализацией аудио
Готовые модели от сообщества (Kokoro, KittenTTS, Qwen3-TTS)

👤 Кому подойдёт: разработчики, работающие с Apple Silicon, исследователи локального AI, создатели голосовых интерфейсов

Релизы

v0.6.4minor

🕐 3 дн назад · релиз на GitHub ↗

Релиз v0.6.4: добавлены модели Audio8-TTS и LFM3-Audio, улучшена работа Whisper и Canary, исправлены ошибки в IndexTTS и Soprano.

Added: Добавлены модели Audio8-TTS-Realistic 0.6B, LFM3-Audio 2B STS и NVIDIA NemotronLabs RE-USE для улучшения речи.
Added: Улучшена транскрипция Nemotron 3.5 и поддержка квантованных чекпоинтов в fish_qwen3_omni.
Fixed: Исправлено потоковое распознавание Whisper, декодирование длинных аудио в Canary и Fireredasr2, а также работа IndexTTS и Soprano.
Fixed: Устранена проблема рассинхрона тембра в ICL streaming decoder и улучшена обработка чисел и времени в текстовых расширителях.