Развитие больших языковых моделей (LLM) долгое время было монополией англоязычного сегмента интернета. Однако мир меняется, и потребность в качественных моделях, понимающих и генерирующих текст на языках с низким уровнем ресурсности (Low-Resource Languages), становится критической. Особое место в этом процессе занимают индийские языки. Несмотря на то что ими пользуются более 1.2 миллиарда человек, технологическое отставание в области обработки естественного языка (NLP) для этих языков остается значительным. Главная причина — острый дефицит качественных обучающих данных. Именно на этот вызов отвечает совместный проект NVIDIA и лаборатории AI4Bharat при Индийском технологическом институте (IIT Madras).
Команда представила Nemotron-pretraining-Indic-v1 — обширный корпус данных, содержащий около 2.8 триллионов токенов на 22 языках, указанных в Конституции Индии. Но самое ценное здесь не только сами данные, но и открытый, воспроизводимый пайплайн их генерации, ускоренный GPU. Этот инструмент позволяет разработчикам не просто использовать готовые данные, но и адаптировать процесс под свои нужды, создавая синтетические данные для любых языков с сохранением высокой точности и культурного контекста. В этой статье мы подробно разберем архитектуру этого пайплайна, различия между нативными и романизированными скриптами, а также практические результаты применения этих данных в моделях Nemotron.
01Проблема данных для индийских языков: почему это важно?
Митеш Капра, руководитель лаборатории AI4Bharat и автор списка TIME100 AI 2025 года, точно сформулировал главную проблему: «Технологии для индийских языков отстают от английского, потому что у нас просто недостаточно данных». Это не просто статистическая погрешность; это фундаментальное ограничение, которое мешает созданию моделей, способных глубоко понимать технические концепции, решать математические задачи или вести сложные диалоги на родных языках индийцев.
Ранее открытые ресурсы, такие как корпус Sangraha от AI4Bharat, заложили основу для исследований. Однако новый релиз представляет собой качественный скачок. Он включает не только тексты, изначально написанные на индийских языках, но и масштабный набор синтетических данных, полученных путем перевода высококачественного английского контента. Это позволяет модели обучаться на сложных структурах, таких как код, математические формулы и технические инструкции, адаптированных под лингвистические особенности 22 языков. Каждый элемент данных имеет четкую прослеживаемость (provenance) от исходного английского документа, что критически важно для аудита и доверия к данным.
02Архитектура корпуса: нативные скрипты и романизация
Одной из самых интересных особенностей нового корпуса является двойная структура языковых конфигураций. Корпус разделен на две большие группы, что отражает реальность того, как люди пишут и общаются в цифровой среде.
Первая группа включает нативные скрипты (native-script) для всех 22 языков. Это тексты, написанные в традиционных для языка системах письма: деванагари, бенгали, тамильский, телугу, каннада, малаялам, гуджарати, маратхи, непали, одия, пенджаби, урду, а также ассамский, бодо, догри, кашмири, конкани, майтхили, манипури, санскрит, сантали и синдхи. Вторая группа — это романизированные данные для 12 языков. Романизация означает запись индийского текста латиницей (например, транслитерация хинди с использованием английских букв). Это очень распространенный формат общения в мессенджерах и социальных сетях в Индии.
Важно понимать разницу: нативные данные обеспечивают модель знакомством с правильным написанием слов, в то время как романизированные данные помогают модели понимать разговорный стиль и сленг, который часто записывается латиницей. В корпусе представлено 34 языково-символьные конфигурации. Например, хинди представлен как в деванагари (hi-Deva-IN), так и в латинице (hi-Latn-IN). Это дает разработчикам гибкость при формировании обучающих выборок (mixtures), позволяя балансировать между академической точностью и практической узнаваемостью.
Количество токенов в корпусе составляет 2.601,0 миллиардов для нативных скриптов и 224,6 миллиардов для романизированных. Эти цифры подсчитаны с использованием токенизатора Gemma-4. Важно отметить, что эти числа отражают объем сохраненных записей, включая переписанные и улучшенные варианты, а не просто бюджет токенов для одной тренировки. Количество токенов также зависит от используемого токенизатора, поэтому инвентаризация корпуса и количество токенов, используемых в процессе обучения, следует рассматривать отдельно.
03Пайплайн генерации данных: от английского источника к индийскому тексту
Сердцем проекта является открытый пайплайн, построенный на базе фреймворка NeMo Data Designer от NVIDIA. Этот инструмент позволяет автоматизировать процесс создания синтетических данных с высокой степенью контроля качества. Процесс можно разделить на несколько ключевых этапов, которые реализуются по-разному для двух групп языков.
Для 12 языков с романизацией (бенгали, гуджарати, хинди, каннада, малаялам, маратхи, непали, одия, пенджаби, тамильский, телугу, урду) используется полный цикл перевода документов. Источниками служат 15 подмножеств корпуса Nemotron-CC-v2, включающие веб-тексты, вопросы и ответы, математику, код и специализированный контент. Для перевода используется модель Gemma-4-31B-it. Выбор этой модели был обоснован сравнительным анализом на полных документах, где проверялось качество перевода и сохранение технической информации.
Промпты для модели тщательно разработаны: они четко разделяют текст, который нужно перевести, и элементы, которые следует сохранить без изменений, такие как код, математические уравнения, URL-адреса и форматирование. Это предотвращает «галлюцинации» модели в критически важных частях документа.
Оценка качества и исправление ошибок
После перевода та же модель Gemma-4-31B-it выступает в роли судьи. Она оценивает каждый переведенный документ по рубрике, вдохновленной открытой системой Multidimensional Quality Metrics (MQM). Эта система классифицирует ошибки перевода по типу и серьезности, охватывая смысл, беглость, терминологию, стиль и форматирование. В пайплайне сохраняется только тот текст, который получает оценку не ниже 75 из 100.
Для документов, не прошедших этот порог, система использует обратную связь от оценки для целевого исправления (repair), после чего текст оценивается повторно. Этот процесс восстановления позволил добавить в корпус еще 438,4 миллиарда токенов, которые уже включены в итоговую статистику. Люди-рецензенты выборочно проверяли результаты, а тесты с намеренно внесенными ошибками помогли выявить проблемы, такие как пропуски или остаточный английский текст, что позволило улучшить промпты и проверки.
Особый подход для 10 языков
Для остальных 10 языков (ассамский, бодо, догри, кашмири, конкани, майтхили, манипури, санскрит, сантали, синдхи) пайплайн был адаптирован. Это связано с проблемами качества при переводе длинных документов и стабильностью скриптов. Для перевода используется модель Indic Translate от Bodhan AI (некоммерческая организация, инкубированная в IIT Madras). Gemma-4-31B-it снова используется для оценки качества. Для восьми языков сохраняется подход к переводу всего документа. Для более длинных документов на сантали используется метод скользящего окна с последующей реконструкцией документа. Для манипури перевод сначала осуществляется на бенгальский скрипт, а затем конвертируется в его родной скрипт Мейтей Мейк. В этой группе сохраняется только нативный скрипт, и отсутствует этап переписывания на основе обратной связи.
04Результаты: как данные повлияли на модель Nemotron 3.5 Super VL?
Чтобы оценить эффективность предложенного подхода, исследователи провели продолженное предобучение (Continued Pretraining, CPT) модели Nemotron 3.5 Super VL. В этот этап было добавлено 10 миллиардов токенов индийских данных (из 100-миллиардного бюджета CPT), взятых из подмножества корпуса для 12 языков и натуральных индийских текстов. Остальные 90% бюджета были распределены в пропорциях предыдущей обучающей смеси.
Результаты оказались впечатляющими. Модель показала рост показателей на всех пяти бенчмарках знаний и рассуждений на индийских языках:
- MILU
- Indic MMLU-Pro
- Indic ARC-Challenge
- Indic ARC-Easy
- Indic GSM8K
Прирост составил от 4,98 до 9,82 процентных пунктов. Эти улучшения подтверждают, что комбинация синтетических и натуральных индийских данных в процессе CPT эффективно расширяет языковые способности модели.
Кроме того, была проведена оценка более широких возможностей модели. При сравнении Nemotron 3.5 Super VL с предыдущим поколением Nemotron 3 Super, новая модель показала лучшие результаты в пяти из шести задач (знания, рассужения, математика, код, перевод). Единственным показателем, где наблюдалось небольшое снижение (на 2,04 пункта), была способность следовать инструкциям (IFEval 1.5). Однако по всем четырем измерениям бенчмарка IndiVibe (от Sarvam AI), который оценивает полезность, беглость, верность языку и скрипту, а также уместную развернутость, модель продемонстрировала значительный прогресс.
05Практическое применение: как начать работу с корпусом?
Открытость данных и пайплайна позволяет разработчикам по всему миру, включая тех, кто работает из России, использовать эти ресурсы для создания собственных моделей. Ниже приведены шаги для начала работы.
1. Загрузка и изучение корпуса
Корпус доступен на Hugging Face. Конфигурации используют теги языка, скрипта и региона. Например, hi-Deva-IN обозначает хинди на деванагари, а hi-Latn-IN — романизированный хинди. Hugging Face Datasets поддерживает потоковую передачу (streaming), что позволяет исследовать записи, не скачивая весь корпус, что экономит дисковое пространство.
from datasets import get_dataset_split_names, load_dataset
dataset_id = input("Repository ID from the dataset card: ").strip()
config = "hi-Deva-IN"
splits = get_dataset_split_names(dataset_id, config_name=config)
print("Available splits:", splits)
data = load_dataset(
dataset_id, name=config, split=splits[0], streaming=True
)
print(next(iter(data)))Рекомендуется закрепить ревизию датасета (pin dataset revision) для воспроизводимости экспериментов.
2. Настройка обучающей смеси
Для первого исследования рекомендуется сравнить различные смеси при фиксированном бюджете токенов. Записывайте доли натуральных/синтетических данных и нативных/романизированных текстов. Отслеживайте результаты по каждому языку отдельно, а также сохраняйте способности модели на английском языке и качество языка/скрипта. При создании тестовых выборок (held-out splits) учитывайте, что записи, полученные из одного источника на разных языках и скриптах, могут быть коррелированы.
3. Адаптация пайплайна генерации
Для тех, кто хочет создать свои собственные данные, доступен открытый плагин Nemotron Bharat translation plugin для NeMo Data Designer. Он предоставляет промпты для перевода и оценки, опциональное переписывание на основе обратной связи, поддержку окон документов и переназначение скриптов. Рекомендуется начать с небольшой выборки собственных исходных документов, проверить качество перевода и сохранение кода/математики, а затем уточнить промпты с помощью носителей языка перед масштабированием.
06Что это значит на практике
Релиз Nemotron-pretraining-Indic-v1 и открытого пайплайна генерации данных знаменует собой поворотный момент в развитии многоязычных ИИ-моделей. Для разработчиков из России и других стран, интересующихся рынками Азии или просто стремящихся к созданию более универсальных моделей, этот ресурс предлагает несколько ключевых возможностей.
Во-первых, это демонстрация того, что дефицит данных для языков с низким уровнем ресурсности можно эффективно компенсировать с помощью высококачественной синтетической генерации. Открытый код и промпты позволяют воспроизвести этот процесс для других языков, не имеющих обширных цифровых архивов. Во-вторых, акцент на романизированных данных и нативных скриптах одновременно учитывает реальное поведение пользователей в интернете, что критически важно для создания чат-ботов и ассистентов, которые будут понятны людям в повседневном общении.
В-третьих, строгие механизмы проверки качества (MQM-подобная оценка) и сохранения структуры (код, формулы) показывают, что синтетические данные могут быть не просто «дополнением», а основой для обучения сложным навыкам, таким как логическое рассуждение и программирование. Это разрушает стереотип о том, что индийские языки подходят только для простых задач перевода или классификации.
Для исследователей и инженеров это означает возможность проведения более тонких экспериментов с мультиязычными моделями. Можно изучать, как именно романизация влияет на способность модели к переносу знаний (transfer learning) между языками, или как лучше балансировать объем нативных и синтетических данных для достижения оптимального соотношения цена/качество. Открытость пайплайна NeMo Data Designer снижает порог входа, позволяя сосредоточиться на контенте и лингвистических особенностях, а не на написании сложной инфраструктуры с нуля.
В заключение, проект NVIDIA и AI4Bharat не просто предоставляет данные; он предоставляет методологию. Это шаг к демократизации доступа к мощным языковым моделям для всех языковых сообществ мира, обеспечивая, чтобы технологический прогресс был инклюзивным и учитывал разнообразие человеческой речи и письма.
Источник: Hugging Face ↗