Новые языки и архитектура для реального времени
В обновлении Magpie TTS Multilingual добавлены три новых языка: современный стандартный арабский, корейский и бразильский португальский. Всего модель поддерживает 12 языков, включая английский, испанский, французский, немецкий, итальянский, вьетнамский, мандаринский, хинди, японский. Модель имеет 364 миллиона параметров и использует общую многоязычную репрезентацию говорящего, предоставляя мужские и женские голоса для каждого языка.
Ключевым архитектурным нововведением стала комбинация frame stacking (предсказание двух аудиокадров за шаг декодирования) и local transformer (моделирование зависимостей между токенами). Это сокращает количество итераций декодера вдвое, снижая задержку без потери качества синтеза речи. Архитектура описана в статье ICASSP 2026 «Frame-Stacked Local Transformers for Efficient Multi-Codebook Speech Generation».
Производительность: задержка и пропускная способность
Метрика Time to First Audio (TTFA) критична для естественного диалога. Magpie, развернутая как NVIDIA NIM на собственном оборудовании, демонстрирует следующие результаты (среднее значение из трех испытаний, on-prem):
| GPU | 1-stream TTFA | 1-stream RTFX | 64-stream TTFA | 64-stream RTFX |
|---|---|---|---|---|
| B200 | 32 мс | 12.1× | 239 мс | 319.81× |
| H100 | 47 мс | 14.7× | 275 мс | 290.79× |
| DGX Spark | 53 мс | 9.8× | 962 мс | 75.88× |
| A100 | 79 мс | 12.2× | 395 мс | 197× |
Примечание: RTFX — пропускная способность, кратная реальному времени. При 64 одновременных потоках на B200 генерация аудио происходит в 320 раз быстрее, чем воспроизведение.
Улучшение качества синтеза
По сравнению с предыдущей версией, модель показала значительное снижение ошибки распознавания символов (CER) и повышение сходства говорящего (SSIM), особенно для французского и испанского языков. Для новых языков установлены базовые показатели качества:
| Язык | CER (пред.) | CER (текущ.) | SSIM (пред.) | SSIM (текущ.) |
|---|---|---|---|---|
| Французский | 2.70% | 1.54% | 0.703 | 0.747 |
| Испанский | 1.14% | 0.60% | 0.715 | 0.793 |
| Арабский (новый) | — | 1.62% | — | — |
| Корейский (новый) | — | 2.69% | — | — |
| Бразильский португальский (новый) | — | 2.91% | — | — |
Также улучшена поддержка code-switching (переключения кодов) для хинди и японского через IPA grapheme-to-phoneme обработку и пользовательские словари произношения.
Почему open-weights важны для бизнеса
Открытые веса Magpie позволяют компаниям развертывать модель в собственных закрытых сетях (air-gapped), соблюдая требования к конфиденциальности данных. Разработчики получают полный контроль над:
- Задержкой: отсутствие сетевых задержек облачных API.
- Кастомизацией: дообучение через NeMo для специфичной терминологии или голоса бренда.
- Масштабируемостью: оптимизация стека обслуживания под конкретное железо.
Модель доступна через Hugging Face в виде чекпоинтов для исследований и через NVIDIA NIM для продакшена.
Источник: Hugging Face blog ↗