Проблема «шумных» данных
Массово-мультиязычные системы перевода, такие как Meta NLLB, часто обучаются на неструктурированном веб-контенте, что приводит к низкому качеству для региональных языков. Сицилийский язык (Sicilian) стал жертвой этого подхода: модель «научилась» на зашумленных, нестандартизированных текстах. Авторы исследования Donato Meoli и Eryk Wdowiak решили эту проблему, создав воспроизводимый пайплайн для извлечения качественных данных из печатных источников.
Автоматизация извлечения и выравнивания
Ключевым шагом стало извлечение параллельного текста из PDF-файлов двуязычного журнала Arba Sicula. Вместо ручного труда исследователи применили:
- Языково-независимый энкодер предложений для автоматического выравнивания.
- Фильтрацию ошибок на основе пороговых значений, настроенных на существующей ручной разметке.
- Новую токенизацию: отказ от Perl-зависимой реализации в пользу более современной, с акцентом на сегментацию субслов, чувствительную к окончанию слов (desinence-biased).
Сравнение стратегий обучения
Исследователи сравнили два подхода: обучение небольших Transformer-моделей с нуля и адаптацию предварительно обученной модели NLLB с помощью low-rank fine-tuning (LoRA). Особое внимание уделили рецепту «обратного обучения» (reverse-training), который включает этап на обратных переводах веб-текстов и этап на курируемом литературном тексте.
Результаты и метрики
Предобученная модель NLLB оказалась значительно лучше моделей, обученных с нуля. Стратегия staged training (поэтапного обучения) улучшила перевод на сицилийский язык сильнее, чем перевод с него. Однако использование мультиязычного адаптера привело к деградации качества в направлениях, которые не были специально дообучены, что ограничивает его применение как универсальной модели.
| Метрика/Параметр | Обучение с нуля (Small Transformers) | Адаптация NLLB (LoRA + Reverse Training) |
|---|---|---|
| Базовое качество | Низкое | Значительно выше |
| Направление EN → Sicilian | Информация недостаточна | Превосходит базовый рецепт обратного обучения |
| Направление Sicilian → EN | Информация недостаточна | Превосходит базовый рецепт обратного обучения |
| Направление Sicilian ↔ Italian | Информация недостаточна | Уступает базовому рецепту обратного обучения |
| Мультиязычный адаптер | Не применимо | Деградирует качество на нетренированных направлениях |
Значение для индустрии
Работа демонстрирует, что для языков с малым объемом данных (low-resource) критически важна не только архитектура модели, но и качество конвейера подготовки данных. Автоматизация извлечения из PDF и фильтрация шумов позволяют получить корпус, сопоставимый по качеству с ручным, что открывает путь к созданию качественных NMT-систем для десятков региональных языков без колоссальных затрат на разметку.
Источник: arXiv cs.CL ↗