В мире искусственного интеллекта, где доминируют англоязычные модели, развитие мультиязычных решений для специфических регионов остается сложной, но критически важной задачей. Индия, с ее невероятным лингвистическим разнообразием, долгое время была вызовом для глобальных технологических гигантов. Однако индийская компания Sarvam AI делает шаг вперед, выпуская Saaras V4 — новую генерацию модели распознавания речи (Speech-to-Text), которая охватывает все официально признанные языки Индии, а также глобальный английский с учетом различных акцентов. Это не просто очередное обновление; это попытка создать универсальный инструмент, способный работать с акустическими особенностями одного из самых сложных языковых ландшафтов мира.
В этой статье мы подробно разберем, что скрывается под капотом Saaras V4, как работает ее архитектура, какие результаты она показывает на бенчмарках и почему она может стать выбором номер один для разработчиков, работающих с индийским рынком. Мы также сравним ее с ключевыми конкурентами и оценим практическую применимость решения для бизнеса и разработчиков.
01Архитектура Saaras V4: От звука к смыслу
Чтобы понять мощь Saaras V4, нужно заглянуть в ее техническую начинку. Модель построена на классической, но высокоэффективной архитектуре encoder-decoder (кодировщик-декодировщик). Этот подход позволяет разделить задачи извлечения акустических признаков и генерации текста, что часто приводит к более стабильным результатам, чем монолитные модели.
Процесс начинается с аудиокодировщика (audio encoder). Его задача — преобразовать сырой звуковой сигнал (waveform) в эмбеддинги (векторные представления), которые несут в себе фонетические и акустические детали. Эти эмбеддинги являются «мостом» между физическим звуком и цифровым представлением языка. Однако сырые эмбеддинги могут быть очень длинными, особенно для длительных аудиозаписей, что создает проблемы для последующих слоев модели.
Здесь вступает в игру адаптер временного уменьшения размерности (temporal-downsampling adapter). Этот компонент сокращает последовательность эмбеддингов и проецирует их в пространство эмбеддингов языковой модели. Это критически важный шаг, так как он позволяет удерживать длинные записи в пределах контекстного бюджета декодера, не теряя при этом важную информацию. Без такого сжатия обработка длительных записей стала бы вычислительно неэффективной или невозможной из-за ограничений памяти.
На стороне декодера используется Sarvam-3B — гибридная языковая модель с состоянием (state-space model), обученная с нуля внутри компании. В отличие от многих моделей, которые являются адаптациями больших англоязычных баз, Sarvam-3B обучалась специально для задач распознавания речи на индийских языках. Она читает аудиособности вместе с текстовым промптом и генерирует транскрипт авторегрессионно, то есть каждый новый токен зависит от всех предыдущих, что обеспечивает высокую связность и точность текста.
02Бенчмарки и точность: Цифры говорят сами за себя
Sarvam AI представила впечатляющие результаты тестирования, заявляя о состоянии искусства (state-of-the-art) для всех официально признанных языков. Давайте разберем эти данные по категориям, чтобы понять, где именно модель превосходит аналоги.
Английский язык и глобальные акценты
Для оценки английской части модели Sarvam использовала несколько наборов данных. Часть из них взята из открытого лидерборда Hugging Face Open ASR Leaderboard: AMI, GigaSpeech, LibriSpeech (чистый и «шумный» варианты), SPGISpeech и VoxPopuli. Другой набор — Svarah от AI4Bharat, который специализируется на индийском акценте английского. Оценка проводилась с использованием стандартного кода нормализации лидерборда. Saaras V4 показала самый низкий средний уровень ошибок слов (WER — Word Error Rate) среди всех протестированных моделей. Это означает, что модель не только хорошо понимает «чистый» английский, но и эффективно справляется с индийским акцентом, что является огромным преимуществом для локального рынка.
Индийские языки: WER и LLM-WER
Самое интересное происходит при работе с индийскими языками. На наборе данных Vistaar Sarvam представила результаты для нескольких языков, используя две метрики: классический WER и новую метрику LLM-WER. Обычный WER часто наказывает модель за орфографические ошибки или вариации написания, которые не влияют на смысл. LLM-WER добавляет семантическую проверку: он отделяет реальные ошибки в значении от безобидных вариантов написания, характерных для индийских скриптов. Это более справедливый способ оценки для языков с богатой морфологией и вариативностью письма.
Шумная среда и идентификация языка
В реальных условиях аудио часто бывает «грязным»: сжатое, обрезанное, с фоновым шумом. На наборе данных Kathbath Noisy (оцениваемом через LLM-WER) Saaras V4 показала уровень ошибок, который заметно ниже, чем у таких систем, как Deepgram Nova-3 и GPT-4o Transcribe. Это критически важно для приложений, работающих в шумных офисах, на улицах или в условиях плохой связи.
Также стоит отметить точность идентификации языка (Language ID). На проверенных высказываниях IndicVoices ошибка идентификации составила всего 2,9% для топ-10 языков и 5,22% для всех официально признанных языков. Это позволяет системе автоматически определять язык ввода без необ
Источник: MarkTechPost ↗