Проблема «шумных» данных и стоимости обучения
Обучение больших языковых моделей (LLM) на арабском языке сталкивается с тремя серьезными барьерами: зашумленные веб-данные, диалектное разнообразие и высокая вычислительная стоимость непрерывного дообучения (Continual Pretraining, CPT). Большинство существующих подходов либо требуют полного обновления весов (что крайне затратно), либо используют простые адаптеры, которые часто уступают в качестве.
Решение AQL-Lite: Качество данных + Частичные веса
Команда исследователей во главе с Houssam Eddine Boukhalfa представила фреймворк AQL-Lite (Arabic Quality Language). Ключевая инновация — сочетание строгой фильтрации данных с экономичным методом дообучения. Вместо обновления всей сети, метод использует RS-LoRA адаптеры для всей сети, но также размораживает и обучает последние 8 трансформерных блоков и матрицу эмбеддингов, применяя различные скорости обучения для каждого слоя.
Результаты бенчмарков: Эффективность против затрат
В контролируемом сравнении с бюджетом в 5 миллиардов токенов (5B tokens), AQL-Lite показал выдающиеся результаты. Метод достиг 94% прироста качества по сравнению с полным обновлением весов (full-parameter CPT), но затратил всего 52% времени (wall-clock time). Это делает подход практически применимым для организаций с ограниченными ресурсами.
| Метрика / Параметр | AQL-Lite (Partial CPT) | Full-parameter CPT | Adapter-only Baseline |
|---|---|---|---|
| Средний балл (5B tokens) | 73.19 | 73.58 | Ниже AQL-Lite |
| Время обучения | 52% от полного | 100% (база) | Информация недостаточна |
| Прирост качества (1B tokens) | +3.51 балла | 0 (нет прироста над базой) | Информация недостаточна |
Масштабирование: Модель на 12B параметров
Исследователи также протестировали масштабирование подхода. Была обучена модель объемом 12 миллиардов параметров на корпусе из 40 миллиардов токенов современного стандартного арабского (MSA) с последующей инструктивной настройкой (instruction-tuning) на 1 миллионе примеров. Итоговая модель показала результат 75.3 на семистрочном Open Arabic LLM Leaderboard v2 (OALL v2), что подтверждает эффективность подхода при масштабировании.
Почему это важно
AQL-Lite доказывает, что «data-centric» подход (акцент на качестве данных) в сочетании с частичным обновлением весов является практичным путем для адаптации мультимодальных моделей к специфическим языкам. Это снижает барьер для создания качественных арабских AI-ассистентов, экономя до половины вычислительных ресурсов без существенной потери точности.
Источник: arXiv cs.CL ↗