Архитектура и эффективность
Zyphra представила ZONOS3-Mini — модель синтеза речи (TTS) на базе разреженной смеси экспертов (Sparse MoE). Архитектура включает 800 млн параметров, из которых активными являются около 100 млн на токен (64 эксперта, маршрутизация top-2). Это позволяет запускать модель в реальном времени на локальных устройствах: от смартфонов до ноутбуков.
Модель обучалась 2,5 дня на кластере из 112 GPU NVIDIA H100. Ключевое отличие от предшественника ZONOS2 (8B параметров) — использование нового кодека ZAC-1 (15 Гц, 10 кодовых книг), который снижает ошибку распознавания слов (WER) в 10 раз по сравнению с DAC при аналогичных ограничениях данных.
Производительность и задержки
Модель поддерживает генерацию аудио до 10 минут и работает с контекстом до 32 768 позиций. Задержки (Time to First Audio, TTFA) демонстрируют высокую скорость:
- Сервер (H100): 80 мс при 8 одновременных запросах.
- Ноутбук (M3 MacBook Air): менее 150 мс.
- Смартфон (Pixel 9, браузер): менее 570 мс.
Сравнение с конкурентами
По данным внутреннего бенчмарка Zyphra ZTTS2-Eval, ZONOS3-Mini занял первое место среди открытых моделей по индексу возможностей (Capability Index), опередив Fish Audio S2 Pro и MOSS-TTS. Однако стоит отметить, что все тесты проведены самой компанией, а результаты клонирования голоса через референсный клип значительно уступают режиму через эмбеддинг.
| Метрика | ZONOS3-Mini | Fish Audio S2 Pro | MOSS-TTS v1.5 | Qwen3-TTS 1.7B |
|---|---|---|---|---|
| Всего параметров | 800M | 5B | 8B | 1.7B |
| Активные параметры | ~100M (MoE) | Не раскрыто | Не раскрыто | Не раскрыто |
| Лицензия | Apache 2.0 | Fish Audio Research | Apache 2.0 | Apache 2.0 |
| ZTTS2 Index (Embedding) | 66.2 | 61.7 | 60.2 | 37.7 |
| WER (чистый набор) | 7.79 | 11.06 | 11.01 | 25.55 |
| Similarity (голос) | 83.4 | 81.2 | 82.9 | 69.6 |
| MSR-UTMOS (качество) | 3.07 | 3.16 | 3.04 | 3.54 |
Управление голосом и деплой
Модель предлагает тонкий контроль над подачей: темп, эмоции, проекция голоса и живость регулируются через активационное управление (activation steering) на уровне слов. Поддерживается клонирование голоса (zero-shot) как через референсный клип (до 60 секунд), так и через 192-мерный вектор эмбеддинга.
Развернуть ZONOS3-Mini можно четырьмя способами:
- В браузере: через WebGPU (без установки).
- NVIDIA GPU: через SGLang-Omni с API, совместимым с OpenAI.
- Apple Silicon: через сервер MLX.
- Кроссплатформенно: через C++/ggml сервер для CPU, CUDA, Metal или Vulkan.
Веса модели распространяются под лицензией Apache 2.0.
Источник: MarkTechPost ↗