Проблема масштабируемости параллельных данных
Качественные параллельные корпусы (человеческий перевод) улучшают кросс-лингвистический перенос, но их объем слишком мал для предобучения больших языковых моделей (LLM). Машинно-переведенные веб-корпусы решают проблему объема, но стандартные методы предобучения (SPT — Standard Pretraining) выбирают исходный документ и его перевод независимо, игнорируя их структурную связь.
Методология: PPT против SPT
Авторы исследуют подход PPT (Parallel Pretraining), при котором документ и его перевод объединяются в одну последовательность обучения. Эксперименты проводились на моделях, обученных с нуля при сопоставимых бюджетах токенов. Результаты оказались неожиданными:
- PPT alone: Сам по себе метод PPT не обеспечивает стабильного улучшения понимания языка по сравнению со стандартным SPT.
- Причина: Хотя PPT создает сильную кросс-лингвистическую базу (модель лучше использует общую информацию между языками), несоответствие между контекстом обучения (парные тексты) и контекстом задач (моноязычные запросы) ограничивает общий прирост.
Решение: Двухэтапный подход
Для устранения ограничений авторы предлагают гибридный метод, следующий парадигме «предобучение-дообучение»:
- Этап 1 (PPT): Построение кросс-лингвистического фундамента с использованием параллельных данных.
- Этап 2 (SPT): Дообучение модели на стандартных моноязычных данных для адаптации к типичным задачам языкового моделирования.
Результаты и метрики
Двухэтапный подход (PPT → SPT) демонстрирует стабильное превосходство над стандартным предобучением (SPT) как в условиях высокого, так и низкого ресурса языков. Улучшения зафиксированы в задачах общего понимания языка (general language understanding) и кросс-лингвистических бенчмарках.
| Метод | Использование параллельных данных | Кросс-лингв. база | Общее понимание языка |
|---|---|---|---|
| SPT (Standard) | Нет (независимая выборка) | Базовая | Базовый уровень |
| PPT (Parallel) | Да (склейка в последовательность) | Высокая | Не стабильно лучше SPT |
| PPT → SPT (Hybrid) | Да (на обоих этапах) | Высокая | Значительный прирост |
Исследование, опубликованное 20 октября 2026 года в arXiv (cs.CL), открывает путь к более эффективному использованию машинного перевода для создания универсальных мультиязычных моделей без необходимости в гигантских объемах человеческого перевода.
Источник: arXiv cs.CL ↗