Технологический прорыв: скорость и качество
Компания Alibaba Cloud выпустила Qwen-Audio-3.1-TTS, производственную систему синтеза речи, которая решает сразу несколько ключевых проблем индустрии. Главная архитектурная особенность — использование низкочастотного токенизатора речи с частотой 12.5 Гц. Это решение значительно снижает затраты на авторегрессионное декодирование, ускоряя инференс, при этом сохраняя полную информацию о содержании и тембре голоса.
Модель обучалась по пятиэтапной прогрессивной схеме, включающей предварительное обучение языковой модели (LM) и частотной модели (FM), совместное обучение с анниляцией данных, а также обучение с подкреплением (RL). Такой подход позволил достичь state-of-the-art результатов по согласованности контента, просодической естественности и устойчивости к шуму.
Уникальные возможности: диалекты и контроль
Qwen-Audio-3.1-TTS выделяется на фоне конкурентов широтой поддержки языков и диалектов. Модель поддерживает 16 языков (включая 7 новых, таких как арабский, индонезийский, португальский, тайский, вьетнамский, малайский и тагальский) и 20 регионов китайских диалектов, включая чуньскую, дунбэйскую, кантонскую и другие вариации.
Система предлагает продвинутый уровень контроля:
- Свободные инструкции: Модель понимает естественный язык для задания роли, эмоции, стиля речи, темпа и акцента.
- Точечные теги: Добавлено 86 новых встроенных тегов для управления на уровне фраз и слов, включая выражение эмоций, переходы и невербальные звуки (смех, дыхание, кашель, вздохи).
- Долгий синтез: Поддерживается генерация до 3 минут аудио за один проход без потери качества.
Результаты бенчмарков
Модель показала лучшие результаты в независимом рейтинге Artificial Analysis Text-to-Speech Leaderboard и продемонстрировала превосходство в метриках CV3-Eval и SEED-TTS-Eval по сравнению с базовыми моделями, такими как CosyVoice 3.0. Ниже приведено сравнение качества синтеза на сложных текстах (Hard-ZH/Hard-EN) и в кросс-лингвальной передаче.
| Метрика / Тест | CosyVoice 3.0-0.5B | CosyVoice 3.0-1.5B | Qwen-Audio-3.1-TTS |
|---|---|---|---|
| Сложный китайский текст (Hard-ZH) Тест на четкость и ритмику |
Среднее качество | Хорошее качество | Высокое качество Лучшая артикуляция |
| Сложный английский текст (Hard-EN) Тест на интонацию |
Базовый уровень | Хороший уровень | State-of-the-art Естественные паузы |
| Кросс-лингвальный синтез ZH prompt → EN/JA/KO |
Ограниченная поддержка | Базовая поддержка | Полная поддержка Сохранение тембра |
| Управление эмоциями Радость, гнев, страх |
Ограниченный спектр | Средний спектр | Широкий спектр Точная передача нюансов |
Практическое применение
Система устойчива к «грязным» данным: она способна генерировать качественный голос даже из зашумленных, реверберантных или нечетких референсных аудиозаписей без необходимости явного режима шумоподавления. Также доступен воспроизводимый протокол тонкой настройки голоса (speaker fine-tuning) и суперразрешение вокодера для вывода аудио с частотой 48 кГц, что делает Qwen-Audio-3.1-TTS готовым решением для коммерческого внедрения в голосовых помощниках, книжных сервисах и интерактивных приложениях.
Источник: U ↗