Единая модель для сложных задач аудио
NVIDIA представила Nemotron 3.5 Transcribe — открытую модель с весами, доступную на Hugging Face и ModelScope. Это не просто транскрайбер, а универсальный чекпоинт, способный выполнять четыре задачи одновременно: транскрипцию речи, атрибуцию говорящих (диаризацию), перевод и ответ на вопросы по аудио. Модель поддерживает 40 языков для транскрипции, 31 язык для перевода (включая английский) и распознает до 8 говорящих в записях длительностью до одного часа.
Ключевая особенность — возможность управления выводом через естественный язык (prompting). Разработчики могут задавать контекст, требовать специфическую терминологию (например, медицинскую) или форматирование, не переобучая модель с нуля.
Рекордные метрики и эффективность
Модель демонстрирует выдающиеся результаты, занимая первые места в открытых рейтингах. Архитектура использует гибридную смесь Mamba и Transformer (Mixture-of-Experts), что позволяет активировать лишь около 4 миллиардов параметров из 30 миллиардов на каждый токен. Это ставит Nemotron 3.5 Transcribe на «Парето-фронт» Artificial Analysis по соотношению точности и вычислительных затрат.
| Бенчмарк / Источник | Метрика | Результат Nemotron 3.5 | Статус |
|---|---|---|---|
| Hugging Face Open ASR (English) | WER (Word Error Rate) | 5.33% | 1-е место среди open-weight |
| Hugging Face Open ASR (Multilingual) | Mean WER (7 языков) | 4.62% | 1-е место среди open-weight |
| Artificial Analysis (AA-WER) | AA-WER | 2.80% | 1-е место (связано), 4B активных параметров |
| David AI DAI-ASR-I18N (Diarization) | DER (Diarization Error Rate) | 18.26% | 1-е место среди 14 систем (21 язык) |
| VoiceArena Diarization-Bench | cpWER | 32.4% | 1-е место среди 14 систем |
Адаптация через Granary v2 и NeMo
Для тонкой настройки (fine-tuning) NVIDIA предоставляет пайплайн данных Granary v2 и инструменты NeMo Speech. В кейсе с медицинской терминологией дообучение позволило снизить WER на 45.8% относительно лучшего промпта на отложенной выборке. Модель поддерживает словные временные метки (word-level timestamps), что критично для интеграции с видеоплатформами, такими как Agora.
Деплой: от Edge до Data Center
Nemotron 3.5 Transcribe оптимизирована для работы на одном GPU NVIDIA. Поддерживаются устройства от edge-решений (Jetson AGX Thor, DGX Spark) до серверных GPU Blackwell (RTX PRO 6000). При использовании точности NVFP4 модель способна обрабатывать аудио в реальном времени, обеспечивая низкую задержку для интерактивных приложений.
Источник: Hugging Face blog ↗