Новый стандарт эффективности: 0.6B против гигантов
Лаборатория Edge0 выпустила модель Audio8-TTS-Realistic с открытыми весами (лицензия Apache 2.0). Это второе поколение семейства Audio8, которое решает проблему баланса между качеством синтеза речи и вычислительными затратами. Модель имеет всего 601 млн параметров (без учета аудиокодека) и способна обрабатывать контекст до 2048 позиций текста и аудио.
Ключевое отличие от предшественника — расширение поддержки языков. Теперь модель работает с 23 языками, включая новые: арабский, финский, хинди, индонезийский, малайский, норвежский, португальский, русский, шведский, тайский, турецкий и вьетнамский. Модель способна клонировать голос по одному референсному клипу и транскрипту, а также генерировать речь без референса.
Архитектура DualAR: скорость и параллелизм
В основе Audio8-TTS-Realistic лежит архитектура DualAR (Dual Autoregressive), вдохновленная решением Fish Audio S2 Pro. Она состоит из двух ветвей:
- Медленная ветвь (Slow Branch): Построена на базе Qwen2.5 0.5B (24 слоя, ширина 896). На каждом шаге она предсказывает текстовые токены и первый кодбук аудио. Скорость работы — около 21.5 кадров в секунду.
- Быстрая ветвь (Fast Branch): Небольшая сеть из 4 слоев, которая параллельно предсказывает оставшиеся 9 кодбуков. Это позволяет минимизировать последовательные вычисления на уровне кадров.
Для запуска рекомендуется CUDA GPU (тестировалось на NVIDIA H20 в BF16). На CPU (Apple M2 с INT4 ONNX) пиковое потребление памяти составляет всего 1.1–1.2 ГБ.
Бенчмарки: точность против размера
Edge0 утверждает, что их модель демонстрирует конкурентоспособную многоязычную точность при значительно меньшем размере. Ниже приведено сравнение метрик ошибки (WER/CER) на ключевых датасетах:
| Модель | Размер (параметры) | CV3 (9 языков, avg error) | MiniMax (Cantonese, CER) | Примечание |
|---|---|---|---|---|
| Audio8-TTS-Realistic | 0.6B | 4.86% | 31.35% | Лучший результат на CV3 |
| 1.7B | 7.73% | — | Уступает в многоязычности | |
| 4B-class models | ~4B | — | Лучше | Лидеры на MiniMax, но тяжелее |
Наихудшие результаты зафиксированы на тайском языке (48.57% WER на CV3), что указывает на зоны для улучшения в низко ресурсных языках.
Технология Realism: как обмануть критика
Главная инновация Edge0 — подход к обучению, ориентированный на «реалистичность», а не только на буквальное соответствие тексту. Стандартные метрики WER (Word Error Rate) и SIM (Speaker Similarity) часто игнорируют ритм, паузы и тайминг.
Обучение проходило в три этапа:
- Многоязычный SFT: Базовое обучение на размеченных данных.
- GRPO с наградой: Комбинированная награда (0.7 WER + 0.3 SIM) с использованием обученного критика реалистичности. Критик (3 млн параметров поверх WavLM-large) сравнивает вывод с человеческой записью того же предложения.
- Этап реалистичности: Использовались только китайский и английский промпты, но это улучшило метрики на 13 других языках. Ошибка снизилась с 22.53% до 20.77%, а сходство голоса (SIM) выросло с 0.637 до 0.679.
Для предотвращения «обмана» критика (когда модель замедляет речь, чтобы лучше совпасть по времени) введена штрафная функция за длительность (duration penalty) при превышении 1.35x от длины референса.
Источник: MarkTechPost ↗