Blaizzy/mlx-audio

Релиз v0.6.4: добавлены модели Audio8-TTS и LFM3-Audio, улучшен Nemotron Transcribe, исправлены баги Whisper и Canary.

• Added: Добавлены модели Audio8-TTS-Realistic 0.6B и LFM3-Audio 2B STS.
• Added: Внедрена поддержка шумоподавления NVIDIA NemotronLabs RE-USE.
• Added: Улучшена работа Nemotron 3.5 Transcribe.
• Fixed: Исправлено потоковое декодирование Whisper, Canary и Fireredasr2 для длинных аудио.
• Fixed: Устранены проблемы с таймингом в IndexTTS и тембром в ICL streaming decoder.

Добавлена поддержка TTS Maya-2 и транскрипции Nemotron 3.5, оптимизирована конвертация PCM.

• Added: Добавлена нативная модель текстового синтеза речи Maya-2.
• Added: Реализована поддержка транскрипции Nemotron 3.5 и примеры для Phonon.
• Fixed: Оптимизирована пакетная конвертация PCM, что сократило время выполнения на 28%.

Добавлены модели Ming 3.0, Granite-Speech-5.0 и Phonon 2.5, улучшена работа Fish Audio Drama 3 и исправлены ошибки стриминга.

• Added: Добавлены модели Ming 3.0 (TTS/ASR/Audio Tiny), Granite-Speech-5.0-2B (ASR/AST) и Phonon 2.5 (STT).
• Added: Добавлен экстрактор эмбеддингов говорящих SpeechBrain ECAPA.
• Fixed: Исправлена работа Fish Audio Drama 3: устранены ранние окончания реплик и оптимизировано потребление памяти.
• Fixed: Исправлен стриминг в TTS Ming 3.0 и установлены флаги чанков для пяти моделей.
• Fixed: Исправлена загрузка Gradium Phonon TTS, обработка токенов Whisper и зависимость transformers[chat-template].

Релиз v0.6.1: добавлена модель Gradium Phonon TTS, исправлена работа сервера STT и поддержка Ming-3.0-tts-0.5B.

• Added: Добавлена модель TTS Gradium Phonon.
• Fixed: Исправлено использование временных файлов для загрузки STT на сервере.
• Fixed: Устранена ошибка при откате speaker_kv_scale в irodori-tts при использовании независимого CFG и двойной условности.
• Added: Добавлена поддержка модели Ming-3.0-tts-0.5B и исправлен контракт промптов для Ming dense.

Релиз v0.6.0: добавлена поддержка Phonon-2, MiMo-V2.5-ASR, Granite Speech 4.1 Plus и Fish Audio Drama 3, улучшена производительность VibeVoice.

• Added: Добавлена поддержка моделей распознавания речи Phonon-2, MiMo-V2.5-ASR и Granite Speech 4.1 Plus.
• Added: Добавлена поддержка модели синтеза речи Fish Audio Drama 3.
• Fixed: Исправлена работа Qwen3-TTS: устранено замедление речи и добавлена поддержка instruct-версии 0.6B.
• Fixed: Улучшена стабильность STT: исправлено определение языка в чанках, валидация пустого аудио и генерация таймстампов.
• Fixed: Исправлены ошибки декодирования аудио, падения AudioPlayer и fallback на plain MLX при отсутствии Metal.

Добавлена поддержка Irodori-TTS v4-Large, потоковой обработки Fish S2 Pro и Nemotron STT, исправлена работа Qwen3 TTS и серверных ограничений.

• Added: Добавлена поддержка модели Irodori-TTS v4-Large с текстовым энкодером T5Gemma.
• Added: Реализована потоковая обработка для Fish S2 Pro и распознавание речи Nemotron speech streaming STT.
• Fixed: Исправлено двойное добавление смещения в transposed-conv при потоковой декодировке Qwen3 TTS.
• Fixed: Устранено искусственное ограничение в 1024 токена для /v1/audio/transcriptions при отсутствии max_tokens.
• Added: Оптимизация: результаты предиктора Nemotron теперь переиспользуются для пустых кадров.

Добавлены модели Parakeet Redux и Nemotron 3 Diarization, а также пример ASR с диаризацией.

• Added: Добавлена модель Parakeet Redux.
• Added: Добавлена модель Nemotron 3 Diarization.
• Added: Добавлен пример использования Nemotron ASR вместе с диаризацией.

Исправлены параметры генерации LFM2.5-Audio, геометрия ISTFT и работа токенизаторов; добавлена поддержка дистилляции MeanFlow для Irodori-TTS.

• Fixed: Исправлены параметры сэмплирования и порядок генерации для модели LFM2.5-Audio.
• Fixed: Устранены ошибки в геометрии ISTFT, выравнивании вывода и градиентах.
• Added: Добавлена поддержка дистилляции MeanFlow для TTS-модели Irodori-TTS.
• Fixed: Исправлена функция stream_generate при использовании токенизаторов transformers (корректная обработка eos_token_ids).
• Fixed: Устранена нехватка зависимости python-multipart в конфигурации uv.lock.

Добавлена поддержка потоковой передачи Nemotron STT, новая TTS rumik-oss 1 и ускорение VibeVoice-ASR.

• Added: Добавлена поддержка потоковой передачи Nemotron STT для живого ввода.
• Added: Появилась новая модель TTS rumik-oss 1 (Cohere2 + Mimi) с поддержкой стриминга.
• Added: Ускорено декодирование VibeVoice-ASR за счёт оптимизации типов данных.
• Fixed: Исправлен тестовый буфер clipping для корректной работы с FLAC через ffmpeg.

Релиз v0.5.2: добавлена поддержка новых моделей (VibeVoice, Nemotron, MiMo), улучшена стабильность Voxtral и Omnivoice.

• Added: Добавлена поддержка моделей VibeVoice-ASR-Streaming, NVIDIA NemotronLabs VoiceChat, DialogueSidon и MiMo-Audio STS.
• Added: Реализована поддержка сегментации в Breeze TTS и добавлена документация для VoxCPM2.
• Fixed: Исправлена ошибка в Voxtral: остановка генерации теперь корректно работает на токене <pad>.
• Fixed: Устранена проблема с неизвестными аргументами STT, вызывавшая сбои генерации.
• Fixed: Исправлено скрытое подавление ошибок загрузки токенизатора в Omnivoice.

Релиз v0.5.1: добавлены модели Breeze-TTS-2, Phonon-1 и Granite Speech 5.0, улучшена работа Qwen3-TTS и Whisper.

• Added: Добавлена поддержка моделей Breeze-TTS-2, Phonon-1 STT и Granite Speech 5.0 STT.
• Added: Реализовано потоковое (streaming) генерирование для модели VibeVoice.
• Fixed: Исправлена работа Qwen3-TTS: устранено ускорение темпа речи и добавлена проверка поддерживаемых голосов.
• Fixed: Улучшена логика декодирования Whisper: корректная обработка repetition_penalty и фильтрация тишины.
• Fixed: Исправлено декодирование аудиоформатов CAF и маршрутизация mp4/m4b через ffmpeg.

Релиз v0.5.0: добавлена поддержка TTS Irodori v4/v4.1-Small, генерации музыки MiniMax Music 3 и унифицированы горячие слова для STT.

• Added: Добавлена поддержка моделей TTS Irodori v4 и новых версий Irodori v4.1-Small.
• Added: Реализован инференс для генерации музыки через модель MiniMax Music 3.
• Added: Унифицирована поддержка горячих слов (hotwords) для всех бэкендов распознавания речи (STT).
• Fixed: Исправлена обработка ошибок потоковой передачи: теперь ошибки инференса передаются в потоке ndjson, а не просто возвращают пустой ответ 200.
• Added: Компоненты библиотеки mlx-lm интегрированы в проект (vendoring).

Исправлена работа Kokoro и Qwen3-TTS, добавлен кодек Nemotron VoiceChat и улучшен стриминг Nemotron ASR.

• Fixed: Исправлена семантика декодирования в Kokoro и Kitten TTS, устранены ошибки уровня и рассинхронизация F0.
• Fixed: Устранено нежелательное повышение точности float32 для модели Qwen3-TTS.
• Added: Добавлена поддержка кодека Nemotron VoiceChat.
• Added: Улучшена работа потоковой передачи (streaming) для Nemotron ASR.
• Fixed: Исправлено определение типа модели для Higgs Audio v3 и добавлен высококачественный ресемплер для miniaudio.

Релиз v0.4.7: добавлены модели Arktts и Chatterbox Multilingual v3, исправлена громкость по BS.1770 и улучшена работа с потоками.

• Added: Добавлена поддержка моделей Arktts (DualAR TTS с клонированием голоса) и Chatterbox Multilingual v3.
• Added: Введена реестровая классификация поддерживаемых аудио-моделей по типу.
• Fixed: Исправлена ошибка в расчёте интегрированной громкости BS.1770, связанная с калибровочной частотой 997 Гц.
• Fixed: Устранена проблема с владением потоками сервера MLX при загрузке моделей.
• Fixed: Оптимизирована обработка кэша: массивы теперь полностью оцениваются перед перемещением потоков.

Релиз v0.4.4: поддержка новых моделей (VoxCPM2, MOSS, Mega-ASR), улучшение потоковой генерации и исправление багов.

• Added: Добавлена поддержка моделей VoxCPM2, MOSS TTS, Mega-ASR, Miso TTS и Silero VAD.
• Added: Реализована потоковая генерация с перекрытием для Higgs Audio и серверное определение реплик в /v1/realtime.
• Added: Добавлен эндпоинт GET /v1/audio/voices для обнаружения голосов и поддержка word_timestamps для STT.
• Fixed: Исправлены регрессии в Fish S2 Pro, Kokoro, VoxCPM2, а также ошибки обработки seed и температурных параметров.
• Fixed: Улучшена производительность Cohere ASR и устранены зависания AudioPlayer при коротком тексте.