Архитектура и возможности
Nemotron 3.5 Transcribe — это Speech-Augmented Language Model (SALM), объединяющая распознавание речи, определение спикеров и генерацию текста. Модель поддерживает до 40 языков и обрабатывает аудиофайлы длительностью до 1 часа. Ключевая особенность — промпт-управляемый вывод: пользователь может запросить верbatim-транскрипт, письменную форму, разметку спикеров, контекстуализацию или перевод.
Архитектура базируется на Nemotron 3.5 Lightning 30B-A3B (гибрид Mamba-2 и MoE) с параллельным энкодером ASR (0.6B параметров) и замороженной моделью диаризации. Это позволяет модели «видеть» активность спикеров каждые 80 мс без изменения структуры декодера. Для точной тайм-стемпинга используется CTC-адаптер (50M параметров).
Производительность и бенчмарки
Модель демонстрирует лучшие результаты среди открытых весов на английском языке, уступая лишь коммерческим API. В мультиязычном режиме она также лидирует среди аналогов с открытым кодом.
| Метрика / Набор данных | Nemotron 3.5 Transcribe | Qwen3-ASR-1.7B | Whisper-large-v3 |
|---|---|---|---|
| English Open ASR (9 наборов, mean WER) | 4.71% | 4.94% | 6.66% |
| Multilingual Open ASR (7 языков, mean WER) | 4.62% | 6.49% | 7.94% |
| Long-form ASR (mean WER) | 10.98% | 13.37% (Parakeet) | — |
| Multi-speaker (mean cpWER) | 15.80% | 16.83% (DiCoW) | — |
| ContextASR-Bench (Entity WER) | 2.20% | — | — |
Деплой и ресурсы
Модель доступна в форматах BF16, FP8, NVFP4 и GGUF. Она помещается на одну видеокарту NVIDIA H100 80GB (BF16) или даже на RTX 5090 при использовании квантования NVFP4 (~21 GB). Лицензия OpenMDW-1.1 разрешает коммерческое использование.
Скорость инференса зависит от стека: на NVIDIA NIM с оптимизациями (NVFP4 + DFlash2) модель обрабатывает 2238 секунд аудио в секунду на RTX PRO 6000. На стандартном vLLM 0.32.0 скорость будет примерно в 2 раза ниже, но всё равно остается высокой благодаря малому количеству слоев внимания (6 слоев), что экономит KV-cache.
Ограничения
Несмотря на лидерство в открытых решениях, модель работает только офлайн. Также отмечена слабая точность на мандаринских встречах в шумной обстановке (cpCER 34.95%) и проблемы с code-switching. Для достижения максимальной скорости требуется проприетарный стек NVIDIA NIM, который пока не открыт.
Бенчмарки
| Бенчмарк | Nemotron 3.5 Transcribe | Nemotron 3.5 Transcribe (baseline) | Nemotron 3.5 Transcribe (with entity lis | DiCoW v3.3 with DiariZen | ElevenLabs Scribe v2 | OtterAI speech-v3.1 | Parakeet-TDT-0.6B-v3 | Qwen3-ASR-1.7B |
|---|---|---|---|---|---|---|---|---|
| English Open ASR (9 public sets) | 4.71% | — | — | — | — | 3.88% | — | 4.94% |
| Multilingual Open ASR (7 languages) | 4.62% | — | — | — | 3.56% | — | — | 6.49% |
| Long-form ASR | 10.98% | — | — | — | — | — | 13.37% | — |
| Multi-speaker, full sessions | 15.8% | — | — | 16.83% | — | — | — | — |
| Contextual ASR (ContextASR-Bench) | — | 12.21% | 2.2% | — | — | — | — | — |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: MarkTechPost ↗