В мире искусственного интеллекта, где гонка за производительностью и доступностью данных не затихает ни на секунду, NVIDIA снова демонстрирует свое лидерство. Компания представила Nemotron 3.5 Transcribe, новую модель с открытыми весами, разработанную специально для задач транскрипции речи. Это не просто еще один инструмент для преобразования аудио в текст; это комплексное решение, которое меняет парадигму работы с голосовыми данными. Модель способна обрабатывать аудио на 40 языках и работать с записями длительностью до одного часа, что является серьезным прорывом для локального запуска и обработки длинных форматов.
Что делает Nemotron 3.5 Transcribe особенным, так это его гибкость. Разработчики могут задавать стиль вывода через текстовые инструкции: от дословной транскрипции до написания в письменном виде, с атрибуцией говорящих, контекстуальной обработкой или даже переводом. Это позволяет заменить целый стек разрозненных инструментов — автоматическое распознавание речи (ASR), диаризацию (разделение говорящих) и выравнивание — одной моделью. Для разработчиков, работающих в условиях ограниченных ресурсов или требующих конфиденциальности данных, это открывает новые горизонты.
В этой статье мы подробно разберем архитектуру модели, ее технические характеристики, результаты бенчмарков и практические аспекты развертывания. Мы также рассмотрим, как эта технология вписывается в текущий ландшафт открытых моделей и какие вызовы она решает, а какие еще остаются.
01Что такое Nemotron 3.5 Transcribe?
Nemotron 3.5 Transcribe классифицируется как Speech-Augmented Language Model (SALM), то есть языковая модель, дополненная возможностями обработки речи. В основе ее работы лежит архитектура, где аудиокодировщик передает эмбеддинги в декодер LLM, что делает процесс транскрипции управляемым через промпты. NVIDIA подчеркивает важный философский момент в своем техническом отчете: не существует единственно правильного транскрипта. Числа, слова-паразиты и специфические термины зависят от контекста и того, кто будет использовать результат.
Поэтому модель позиционируется не как универсальный ассистент, а как специализированный инструмент для транскрипции. Это позволяет ей фокусироваться на точности и гибкости вывода, адаптируясь под конкретные задачи бизнеса или разработчика. Например, для юридической компании может быть критична дословная фиксация, включая паузы и оговорки, тогда как для медиа-компании важнее чистый, отредактированный текст.
02Архитектура: Как это работает?
Архитектура Nemotron 3.5 Transcribe продумана до мелочей, чтобы обеспечить высокую производительность и точность. Она состоит из трех основных компонентов:
1. Параллельный экспертный кодировщик
Этот компонент включает обучаемый ASR-кодировщик на базе Transformer с 0.6 миллиарда параметров, который работает параллельно с замороженной моделью диаризации Nemotron 3 Diarization. Диаризатор отслеживает до 8 говорящих одновременно. Активность каждого говорящего добавляется к функциям ASR каждые 80 миллисекунд. Это позволяет LLM «видеть», кто и когда говорил, без необходимости изменения самой архитектуры декодера. Такой подход обеспечивает точное разделение ролей в диалогах.
2. Основа LLM (Backbone)
В основе лежит Nemotron 3.5 Lightning 30B-A3B — гибридная модель Mamba-Transformer MoE (Mixture of Experts). Она состоит из 52 слоев: 23 слоя Mamba-2, 23 слоя MoE и всего 6 слоев внимания (attention). Каждый слой MoE маршрутизирует запросы к 6 из 128 экспертов, плюс один общий эксперт. Использование малого количества слоев внимания критически важно, так как это сохраняет размер KV-cache небольшим, что позволяет обрабатывать аудио длительностью до одного часа без переполнения памяти.
3. Дополнительные модули
Модель включает общий слой многозадачного прогнозирования (MTP), который черновик токенов для спекулятивного декодирования, ускоряя генерацию. Также присутствует адаптер CTC (Connectionist Temporal Classification) объемом 50 миллионов параметров, который выравнивает готовый транскрипт с аудио, обеспечивая точные временные метки для каждого слова.
Интересно, что название модели указывает на 30B-A4B, но общий объем параметров составляет около 34 миллиардов. Дополнительные веса приходят от модуля MTP (1.3 миллиарда) и аудиокомпонентов. Обучение проводилось в два этапа: сначала 28 500 шагов супервизированного тонкого обучения на 256 GPU H100, затем короткий этап RL (400 обновлений GSPO с наградой, равной 1 минус WER). Модель увидела около 1.72 миллиона уникальных часов аудио, или 6.5 миллионов часов с повторами.
03Результаты на бенчмарках
Производительность Nemotron 3.5 Transcribe впечатляет, особенно в категории открытых моделей. NVIDIA сообщает о следующих результатах:
- Английский Open ASR (9 публичных наборов): Средняя ошибка WER (Word Error Rate) составляет 4.71%. Следующая лучшая открытая модель, Qwen3-ASR-1.7B, показывает 4.94%. Однако стоит отметить, что семь коммерческих систем все еще лидируют, возглавляемая OtterAI speech-v3.1 с WER 3.88%.
- Мультиязычный Open ASR (7 языков): Средняя WER 4.62% против 6.49% у Qwen3-ASR-1.7B. ElevenLabs Scribe v2 достигает 3.56%, что показывает высокую конкуренцию в коммерческом секторе.
- Длинная форма (Long-form ASR): Средняя WER 10.98% против 13.37% у Parakeet-TDT-0.6B-v3. Это важный показатель для обработки часовых записей.
- Много говорящих, полные сессии: Средняя cpWER 15.80% против 16.83% у DiCoW v3.3 с DiariZen. NVIDIA утверждает, что это первая SALM, превзошедшая каскадные системы в этой категории.
- Контекстуальная ASR: Использование списка сущностей снижает WER для именованных сущностей на ContextASR-Bench с 12.21% до 2.20%. Это демонстрирует мощь контекстного понимания модели.
04Развертывание и совместимость
NVIDIA предоставляет веса в нескольких форматах: BF16, FP8, NVFP4 и GGUF. Также доступен опциональный черновик DFlash2. Лицензия OpenMDW-1.1 разрешает коммерческое использование, что делает модель привлекательной для бизнеса.
Среди сред выполнения поддерживаются vLLM 0.32.0 с плагином NeMo Speech, Transformers и SGLang-Omni 0.2.0. vLLM предоставляет API, совместимый с OpenAI, что упрощает интеграцию в существующие проекты.
Основная скорость NVIDIA достигается через Nemotron Transcribe NIM. С использованием NVFP4 и DFlash2, один RTX PRO 6000 Blackwell Server Edition может транскрибировать 2238 секунд аудио в секунду. Возврат 30-секундного клипа занимает всего 0.13 секунды. Однако есть нюанс: эти оптимизации обслуживания пока не являются открытыми. NVIDIA ожидает, что путь vLLM на день релиза будет примерно в 2 раза медленнее. На одном H100 в BF16 с MTP2 NVIDIA оценивает скорость примерно в 410 RTFx (Real-Time Factor).
Для тонкой настройки NVIDIA протестировала 17 задач. Каждая заняла от 0.5 до 2.3 GPU-часов на одном GB300, что делает процесс адаптации модели под специфические домены относительно быстрым и доступным.
05Сравнение с другими открытыми моделями ASR
Чтобы понять место Nemotron 3.5 Transcribe в экосистеме, сравним ее с ключевыми конкурентами:
| Функция | Nemotron 3.5 Transcribe | Qwen3-ASR-1.7B | Canary-Qwen-2.5B | Whisper-large-v3 |
|---|---|---|---|---|
| Параметры | 34B всего, ~4.3B активных | 1.7B | 2.5B | 1.55B |
| Языки | 40 | 30 + 22 китайских диалектов | Только английский | 99 (тег HF) |
| Макс. аудио за запрос | 1 час | Не раскрыто | 40 с в обучении | 30 с окно, чанкинг |
| Атрибуция говорящих | Встроена, до 8 говорящих | Не указано | Не указано | Не указано |
| Временные метки слов | Встроены (CTC адаптер) | Через отдельный ForcedAligner-0.6B | Не указано | Да, на уровне слов |
| Лицензия | OpenMDW-1.1 | Apache-2.0 | CC-BY-4.0 | Apache-2.0 |
| English Open ASR (WER) | 4.71% | 4.94%* | 5.38%* | 6.66%* |
| Multilingual Open ASR (WER) | 4.62% | 6.49%* | Н/Д | 7.94%* |
*Оценки конкурентов на текущем лидерборде из 9 наборов взяты из отчета NVIDIA, ссылающегося на результаты лидерборда Hugging Face от октября 2026 года. Набор лидерборда изменился с тех пор, как конкуренты опубликовали свои карточки, поэтому строки WER не взаимозаменяемы.
Как видно из таблицы, Nemotron 3.5 Transcribe выделяется наличием встроенной диаризации и временных меток, а также поддержкой длинных форматов. Whisper-large-v3, несмотря на популярность, уступает в точности и функциональности для сложных сценариев.
06Что это значит на практике?
Для разработчиков и компаний, работающих с аудио, Nemotron 3.5 Transcribe открывает новые возможности. Во-первых, возможность локального запуска на одном H100 или даже RTX 5090 (с NVFP4) делает ее доступной для организаций с ограниченной инфраструктурой. Во-вторых, поддержка 40 языков и встроенная диаризация экономят время на интеграцию различных инструментов.
Однако есть и ограничения. Модель работает только офлайн, что может быть недостатком для некоторых облачных сценариев. Также точность на мандаринских встречах в условиях дальнего поля (far-field) остается слабой (34.95% cpCER), что требует осторожности при использовании в мультиязычных средах с китайским языком. Переключение кодов (code-switching) также остается вызовом.
В целом, Nemotron 3.5 Transcribe — это мощный инструмент, который democratizes доступ к высококачественной транскрипции. Она не заменяет коммерческие API в задачах, где требуется максимальная точность, но предлагает отличную альтернативу для тех, кто ценит контроль, конфиденциальность и гибкость.
07Заключение
Выпуск NVIDIA Nemotron 3.5 Transcribe знаменует собой важный шаг вперед в области открытых моделей для распознавания речи. Сочетание высокой точности, гибкости вывода и возможности локального развертывания делает ее привлекательной для широкого круга пользователей. Хотя коммерческие решения все еще лидируют в некоторых метриках, открытая природа Nemotron 3.5 Transcribe дает разработчикам свободу экспериментировать и адаптировать модель под свои нужды. Следующие обновления и оптимизации, такие как открытый код для NIM, могут еще больше укрепить позиции этой модели на рынке.
Для тех, кто хочет глубже погрузиться в тему, NVIDIA предоставляет технический отчет, веса модели, страницу проекта и живой демо. Также можно следить за обновлениями в Twitter и присоединиться к сообществу ML на Reddit.
Источник: MarkTechPost ↗