Масштаб и состав данных
Команда NVIDIA и лаборатории AI4Bharat (IIT Madras) представила Nemotron-pretraining-Indic-v1 — корпус для предобучения, содержащий 2.8 триллиона токенов на 22 языках, указанных в Конституции Индии. Это покрывает потребности 97% населения страны (около 1.2 млрд человек). Корпус разделен на две группы:
- Нативный скрипт (22 языка): Бенгали, гуджарати, хинди, каннада, малаялам, маратхи, непали, одия, пенджаби, тамильский, телугу, урду, а также ассамский, бодо, догри, кашмири, конкани, майтхили, манипури, санскрит, сантали и синдхи.
- Романизированный текст (12 языков): Для первых 12 языков из списка выше добавлены данные на латинице, что важно для учета особенностей набора текста пользователями.
Технические детали и метрики
Генерация данных проводилась с использованием фреймворка NeMo Data Designer и модели Gemma-4-31B-it. Ключевая особенность — сохранение прослеживаемости (provenance): каждый токен можно отследить до исходного английского документа. Это позволяет аудировать данные и избегать галлюцинаций.
Процесс включает перевод, оценку качества по метрике MQM (Multidimensional Quality Metrics) и ремонт (repair) низкокачественных переводов. Порог отсечения — 75 из 100 баллов. Благодаря этапу ремонта удалось восстановить 438.4 миллиарда токенов, которые иначе были бы отбракованы.
Сравнение подходов к генерации
Исследователи выделили два разных конвейера для разных групп языков, чтобы решить проблемы стабильности скриптов и качества длинных документов.
| Параметр | 12 языков (с романизацией) | 10 языков (только нативный скрипт) |
|---|---|---|
| Модель перевода | Gemma-4-31B-it | Indic Translate |
| Подход | Полный перевод документа с сохранением контекста (таблицы, формулы) | Адаптированный конвейер для решения проблем стабильности скриптов |
| Романизация | Двухэтапная: сначала перевод, затем конвертация в латиницу (меньше галлюцинаций) | Не применяется |
| Критерий качества | Оценка по MQM, порог 75/100, обязательный ремонт | Специфические проверки для длинных документов |
Практическое применение
Корпус уже используется для дообучения модели Nemotron 3.5 Super VL (добавлено 10 млрд токенов из 12 языков). Открытый доступ к данным и «рецепту» их генерации позволяет разработчикам создавать собственные модели для технических, математических и QA-задач на индийских языках, закрывая критический дефицит качественных синтетических данных.
Источник: Hugging Face blog ↗