NVIDIA Nemotron 3.5 Transcribe и Granary v2: Глубокий разбор

В мире обработки естественного языка и распознавания речи (ASR) часто возникает парадокс: модель может дословно записать каждое произнесенное слово, но при этом оставить пользователя в тупике. Кто именно говорил? Как перевести специфический медицинский термин? Как отформатировать стенограмму так, чтобы она была полезна для юридического документа или медицинской карты? Традиционные системы часто требуют набора разрозненных инструментов: один для распознавания, другой для диаризации (определения говорящих), третий для перевода. Это усложняет архитектуру, увеличивает задержки и усложняет поддержку.

Компания NVIDIA представила решение, которое объединяет эти функции в едином чекпоинте — NVIDIA Nemotron 3.5 Transcribe. Это не просто еще одна модель распознавания речи. Это «промптабельная» (promptable) система с открытыми весами, которая позволяет разработчикам управлять выводом с помощью естественного языка. Она поддерживает транскрипцию на 40 языках, перевод 31 из них на английский и обратно, а также атрибуцию говорящих (диаризацию) на 13 языках. Более того, модель способна отвечать на вопросы по аудиофайлам, что открывает двери для создания интеллектуальных ассистентов, способных не только слышать, но и понимать контекст.

В этой статье мы подробно разберем, как работает Nemotron 3.5 Transcribe, почему она лидирует на бенчмарках, как использовать новую открытую конвейерную обработку данных Granary v2 для адаптации модели под ваши нужды, и что все это значит для разработчиков, работающих с аудио в условиях ограниченных ресурсов или строгих требований к конфиденциальности.

01Единая модель для сложных задач: от транскрипции до диаризации

Главное преимущество Nemotron 3.5 Transcribe заключается в ее универсальности. Раньше для получения структурированной стенограммы с метками говорящих и переводом требовалось запускать несколько разных моделей, синхронизировать их выходы и обрабатывать ошибки каждого этапа. Nemotron 3.5 Transcribe делает это в один проход. Модель обрабатывает аудиозаписи длительностью до одного часа и может различать до восьми говорящих одновременно.

Разработчики могут направлять поведение модели с помощью промптов. Например, вы можете попросить систему:

• «Транскрибируй эту запись и пометь каждого говорящего»;
• «Переведи это аудио на английский язык»;
• «Какие решения были приняты на этой встрече?»

Это особенно важно для сценариев, где контекст критичен. В медицинской диктовке, например, важно не только записать слова, но и сохранить правильное написание терминов. Модель поддерживает словные временные метки (word-level timestamps), что позволяет синхронизировать текст с видео или аудио, создавая интерактивные стенограммы. Это уже применяется в образовательных платформах, таких как Agora, где студенты могут видеть текст лекции в реальном времени или при воспроизведении записи.

02Лидерство на бенчмарках: точность и эффективность

Производительность Nemotron 3.5 Transcribe подтверждена результатами на нескольких авторитетных бенчмарках. Модель занимает первые места среди моделей с открытыми весами (open-weight) на Hugging Face Open ASR Leaderboard и Artificial Analysis Speech-to-Text Leaderboard.

На Hugging Face Open ASR Leaderboard модель демонстрирует среднюю ошибку слов (WER) на уровне 5.33% на английском языке, что является лучшим результатом среди открытых моделей. В мультиязычном режиме (семь языков) средняя WER составляет 4.62%, а на длинных формах аудио (long-form) — 10.98%. Эти показатели делают ее одним из самых точных решений, доступных для свободного использования.

Особое внимание стоит уделить бенчмарку Artificial Analysis, который оценивает модели по индексу AA-WER. Nemotron 3.5 Transcribe достигает показателя 2.8% AA-WER, что ставит ее в один ряд с проприетарными API, но при этом использует всего около 4 миллиардов активных параметров из 30 миллиардов общих параметров. Это достигается за счет гибридной архитектуры, сочетающей Mamba и Transformer (mixture-of-experts), что позволяет обрабатывать токены с высокой эффективностью. На наборе данных AA-AgentTalk, который имитирует речь голосовых агентов, модель показывает WER 1.8%, превосходя ближайших конкурентов.

В области диаризации (определения говорящих) Nemotron 3.5 Transcribe также демонстрирует выдающиеся результаты. На бенчмарке David AI DAI-ASR-I18N, который оценивает распознавание и диаризацию на 21 языке, модель занимает первое место среди открытых решений и второе место в общем зачете. Ошибка диаризации (DER) составляет 18.26%, что немного лучше, чем у специализированной модели Nemotron 3 Diarization (18.38%).

На VoiceArena Diarization-Bench, который тестирует модели на полных сессиях разговоров с перекрытием речи, Nemotron 3.5 Transcribe показывает cpWER (concatenated minimum-permutation WER) на уровне 32.4%, что является лучшим результатом среди 14 протестированных систем. Модель также демонстрирует минимальное количество пропущенных слов: доля удалений составляет всего 8.32% от эталонного текста, в то время как медианное значение для других моделей приближается к 31%.

03Granary v2: Открытый конвейер обработки данных

Качество модели напрямую зависит от качества данных, на которых она обучена. NVIDIA представила Granary v2 — открытый набор данных и конвейер его подготовки, который лег в основу Nemotron 3.5 Transcribe. Это не просто коллекция аудиофайлов, а сложная система курирования, построенная на базе NVIDIA NeMo Curator.

Granary v2 охватывает 463 062 часа аудио на 48 языках, собранных из 16 различных источников. Это значительное расширение по сравнению с первой версией, которая поддерживала только 25 языков. Конвейер генерирует три варианта транскрипции для каждого аудиозаписи:

1. Text-normalized, verbatim: Дословная транскрипция с нормализацией текста (например, «I paid, uh, twenty-five euros»).
2. Inverse text normalization, with disfluencies: Нормализация с сохранением слов-паразитов (например, «I paid, uh, €25»).
3. Inverse text normalization, without disfluencies: Чистая транскрипция без слов-паразитов (например, «I paid €25»).

Эти варианты позволяют разработчикам выбирать формат вывода, который лучше всего подходит для их приложения. Кроме того, конвейер генерирует короткие описания аудио, восстанавливает заимствованные слова в случаях переключения языков (code-switching), создает пары вопросов и ответов на основе аудио, а также предоставляет термины для контекстного смещения ASR (biasing terms) и переводы с автоматической оценкой качества.

Процесс курирования разделен на четыре этапа:

1. Audio Preparation (Metadata): Сегментация аудио, отслеживание говорящих, обнаружение акустических событий и определение языка.
2. Transcription (ASR): Маршрутизация каждого языка через основные и резервные модели ASR с проверкой на галлюцинации. Использование человеческих референсов для сохранения правильных написаний.
3. Task Label Generation (Text): Генерация вариантов транскрипции, проверка согласованности и создание контекстных терминов.
4. High Fidelity (HiFi): Фильтрация шумных или обрезанных сегментов. Например, для датасета VoxPopuli это позволило сократить объем данных с 354 тысяч часов до 111 тысяч часов, сохранив только высококачественные записи.

04Адаптация под домены: кейс из медицинской сферы

Даже самая точная общая модель может столкнуться с трудностями в специфических доменах, таких как медицина или юриспруденция. Для решения этой проблемы NVIDIA демонстрирует процесс адаптации с использованием инструментов NeMo Speech. В кейсе с медицинским распознаванием речи (Eka Care benchmark) исследователи показали, как можно значительно улучшить результаты, используя комбинацию промптинга и дообучения (fine-tuning).

Исходная модель показывала WER на уровне 30.8% на тестовом наборе записей индийских врачей. Простое улучшение промпта, где явно указывались язык (английский) и алфавит (латиница), снизило ошибку до 23.8%. Однако для дальнейшего улучшения потребовалось дообучение.

Процесс адаптации включал:

1. Генерацию синтетических медицинских текстов и их озвучивание с помощью TTS (Text-to-Speech) с разными голосами для расширения разнообразия данных.
2. Добавление реальных записей с акцентами (Common Voice) и медицинскими записями (MultiMed).
3. Использование LoRA (Low-Rank Adaptation) для адаптации языковой модели, в то время как энкодер речи и проекция обучались полностью.

Результаты оказались впечатляющими. На отложенной выборке (held-out speakers), которые модель не видела во время обучения, дообучение снизило WER с 22.44% (лучший результат с промптом) до 12.17%. Это относительное снижение ошибки на 45.8%. Для сравнения, специализированная медицинская модель показала WER 13.79%, а общая модель ASR — 14.92%.

Важно отметить, что адаптация не привела к катастрофическому забыванию общих навыков. На стандартном наборе LibriSpeech (чистый английский) WER выросла незначительно, с 1.54% до 1.69%. Это доказывает, что модель можно эффективно адаптировать под узкие задачи, сохраняя общую производительность.

05Деплой и производительность

NVIDIA Nemotron 3.5 Transcribe спроектирована для высокой пропускной способности. В бенчмарках модель обработала 100 часов аудио менее чем за три минуты на одном GPU NVIDIA RTX PRO 6000 Blackwell Server Edition, используя будущую версию с квантованием NVFP4. Это делает ее пригодной для обработки больших объемов данных в реальном времени или пакетной обработке.

Для развертывания модели доступны следующие инструменты:

• vLLM: Позволяет обслуживать модель через API уже сегодня.
• NeMo-Speech.cpp: Скоро станет доступен для локального развертывания, что позволит запускать модель на потребительских GPU.
• Квантованные версии: В ближайшее время появятся версии для локального запуска на RTX Spark, DGX Spark и Jetson AGX Thor.

Важно отметить, что модель предназначена для записи аудио, а не для потоковой передачи в реальном времени (live streaming). Однако высокая скорость обработки позволяет использовать ее в гибридных сценариях, где запись обрабатывается сразу после завершения разговора.

06Что это значит на практике

Появление Nemotron 3.5 Transcribe и Granary v2 знаменует собой сдвиг в сторону более гибких и контролируемых систем обработки аудио. Для разработчиков это означает:

1. Снижение сложности архитектуры: Вместо цепочки из нескольких моделей можно использовать один чекпоинт для транскрипции, диаризации, перевода и Q&A. Это упрощает развертывание и снижает задержки.
2. Гибкость через промпты: Возможность управлять форматом вывода (вербатим, чистый текст, перевод) через естественный язык позволяет быстро адаптировать модель под разные задачи без переобучения.
3. Доступность и локальный запуск: Открытые веса и поддержка квантования позволяют запускать мощные модели на локальных GPU, что критично для компаний с требованиями к конфиденциальности данных (например, в медицине или финансах).
4. Эффективная адаптация: Наличие открытых данных (Granary v2) и инструментов (NeMo Speech) позволяет бизнесу быстро дообучать модель под свои домены, достигая результатов, превосходящих общие модели, с относительно небольшими затратами вычислительных ресурсов.

В конечном итоге, Nemotron 3.5 Transcribe — это не просто инструмент для преобразования речи в текст. Это платформа для создания интеллектуальных аудио-приложений, которые понимают контекст, уважают конфиденциальность и могут быть адаптированы под любые языковые и доменные особенности.

Источник: Hugging Face ↗