Fish Audio официально выпустила Drama 3, новую модель Text-to-Speech (TTS) с открытыми весами, которая меняет подход к генерации диалогов. В отличие от традиционных TTS, Drama 3 принимает «режиссерские указания» на естественном языке (например, [barely holding it together] или <whisper>), позволяя точно контролировать эмоциональную окраску и интонацию отдельных фраз. Модель поддерживает 83 языка и позволяет озвучивать сцены с участием до 16 различных персонажей в рамках одного API-запроса.
Архитектура и производительность
Drama 3 построена на базе языковой модели Qwen3.5-35B-A3B. Это модель с архитектурой Mixture-of-Experts (MoE) общим размером 35 млрд параметров, из которых активны только около 3 млрд на токен (8 из 256 экспертов плюс 1 общий). Архитектура использует 40 слоев, где каждые 3 слоя Gated DeltaNet чередуются с 1 слоем полного внимания, что оптимизирует использование памяти KV-cache. Для декодирования аудио внедрен новый Codebook-MTP decoder, заменяющий предыдущий Fast AR decoder.
На бенчмарке Artificial Analysis Pronunciation Robustness модель показала лучший результат среди открытых решений — 93.2% точности произношения, значительно превзойдя предшественника S2.1 Pro (88.1%). Однако в категории «точные последовательности» (коды, пути, email) точность падает до 86.3%.
| Метрика / Характеристика | Fish Audio Drama 3 | Fish Audio S2 Pro | ElevenLabs v4 Turbo |
|---|---|---|---|
| Общий размер модели | 35B (MoE) | 5B | Не раскрывается |
| Активные параметры | ~3B | Не MoE | Не раскрывается |
| Качество (Elo AA) | 1242 (Preview) | 1116 | 1328 |
| Точность произношения (AA) | 93.2% | 88.1% | Не раскрывается |
| Задержка (TTFA p50) | 88.9 мс (H200) | ~100 мс | ~150 мс |
| Цена API (за 1M символов) | $50 (акция $10 до 12.11.26) | $15 | $40 |
Требования к железу и лицензирование
Для самостоятельного хостинга (self-hosting) модели требуется минимум 48 ГБ видеопамяти NVIDIA в формате FP8. Поддержка CPU, Apple MPS и AMD ROCm отсутствует. Официальные бенчмарки проводились на одном GPU NVIDIA H200, где при одном потоке медианное время до первого аудио составляет 88.9 мс, а при 16 потоках пропускная способность достигает 927.6 кадров в секунду.
Весы модели доступны на Hugging Face под лицензией Fish Audio Community License v1.0. Коммерческое использование бесплатно для компаний с годовой выручкой до $500,000. При превышении этого порога или при предоставлении сервиса как API третьим лицам требуется отдельная лицензия. Запрещено клонирование реальных голосов без согласия владельца.
Почему это важно
Drama 3 закрывает нишу между дешевыми, но ограничеными открытыми моделями и дорогими закрытыми API вроде ElevenLabs. Возможность задавать эмоции текстом и поддерживать 16 спикеров делает её идеальной для разработки аудиокниг, подкастов и дубляжа игр. При этом порог входа в $50 за 1 млн символов (или $10 по акции) и требование мощного GPU делают её доступной в основном для профессиональных студий и крупных разработчиков, а не для энтузиастов с домашними ПК.
Источник: MarkTechPost ↗