Архитектура и эффективность
Zyphra анонсировала модель Zonos3-Mini, которая решает проблему компромисса между качеством голоса и скоростью инференса. В отличие от предыдущей версии Zonos2 (8B параметров), новая модель использует архитектуру Sparse Mixture of Experts (MoE) с 800 млн общих параметров, из которых активны только 100 млн. Обучение прошло на 112 GPU NVIDIA H100 за 2,5 дня. Модель лицензирована под Apache 2.0 и доступна на Hugging Face.
Производительность на устройствах
Ключевое преимущество Zonos3-Mini — возможность запуска on-device. Модель оптимизирована для работы через WebGPU в браузерах, а также через SGLang, vLLM и GGML на серверах. Задержка до первого аудио (Time-to-First Audio, TTFA) составляет:
- <150 мс на MacBook Air M3;
- <570 мс на смартфоне Google Pixel 9.
Контроль над голосом
Модель поддерживает тонкую настройку характеристик голоса без переобучения. Пользователи могут управлять:
- Идентичностью и акцентом: переключение между General American, Southern English, Australian и British.
- Возрастом и полом: от 25 до 75 лет, от маскулинного до фемининного звучания.
- Текстурой и эмоциями: контроль над хрипотцой, «воздушностью», скоростью речи и эмоциональным состоянием (радость, гнев, страх).
- Word-level control: возможность шептать отдельные слова или фразы внутри предложения.
Сравнение с конкурентами
Zyphra провела сравнительный анализ Zonos3-Mini с проприетарными (ElevenLabs, Cartesia) и открытыми (Fish Audio, Qwen, OmniVoice) моделями. Оценка проводилась по бенчмарку ZTTS2-Eval, учитывающему разборчивость, качество клонирования голоса и просодическое разнообразие. Zonos3-Mini демонстрирует лучшие результаты на парето-фронтальной кривой по соотношению задержки (TTFA) и пропускной способности (audio s per s).
| Параметр | Zonos3-Mini (Zyphra) | Zonos2 (Zyphra) | Примечание |
|---|---|---|---|
| Архитектура | Sparse MoE | Монолитная | Новая архитектура для эффективности |
| Активные параметры | 100 млн | 8 млрд | Снижение в 80 раз |
| Общие параметры | 800 млн | Информация недостаточна | — |
| TTFA (Pixel 9) | <570 мс | Не указано | Real-time on-device |
| TTFA (M3 MacBook Air) | <150 мс | Не указано | Высокая скорость |
| Лицензия | Apache 2.0 | — | Открытый доступ |
Доступность
Веса модели доступны на Hugging Face, а рантаймы — на GitHub Zyphra. Инференс также доступен через Zyphra Inference на GPU NVIDIA H200.
Источник: Zyphra ↗
