Проблема машинного перевода в NLP
Большинство многоязычных бенчмарков игнорируют словацкий язык или покрывают его через машинный перевод. Это создает искаженную картину реальных возможностей моделей. Команда исследователей во главе с Марком Шуппой (Marek Šuppa) представила sk-bench — первый benchmark, созданный с нуля (native-first) для словацкого языка, на котором говорят 5 миллионов человек. В набор входят 30 датасетов и 33 варианта задач, охватывающих 10 категорий навыков.
Ключевые метрики и результаты
Авторы протестировали 55 моделей (открытых и закрытых) в единой среде. Результаты показали значительный разрыв между проприетарными API и лучшими открытыми моделями. Также было выявлено, что простой перевод данных не всегда корректно ранжирует модели, особенно при сравнении вопросов, сгенерированных ИИ, и написанных людьми.
| Метрика / Наблюдение | Значение / Детали |
|---|---|
| Разрыв с проприетарными API | Лучшая открытая модель уступает на 12.6 баллов |
| Корреляция рангов (Native vs Translated) | ρ ≥ 0.98 для закрытых форм данных |
| Корреляция рангов (Human vs LLM QA) | ρ = 0.72 (существенное расхождение) |
| Влияние дообучения (Qwen3-14B) | Снижение общего балла на 13.9 пунктов |
| Эффект instruction repair | Восстановление 75% потерь после дообучения |
| Test-time reasoning (модели ≥9B) | Прирост баллов на 8.5–12.5 пунктов |
Уроки для low-resource языков
Исследование сформулировало четыре ключевых вывода для разработчиков LLM, работающих с малообеспеченными языками:
- Используйте нативные данные: перевод часто не справляется с морфологической сложностью (как в словацком).
- Планируйте "ремонт" инструкций: после лингвистической адаптации (pretraining) требуется дополнительная настройка инструкций, иначе качество падает.
- Включайте reasoning: тестовое время на рассуждения (test-time reasoning) дает существенный прирост для моделей от 9B параметров.
- Не переусердствуйте с промптами: чрезмерная инвестиция в промпты на целевом языке менее эффективна, чем улучшение базовой лингвистической адаптации.
Работа принята в основную конференцию EMNLP 2026. Код и данные опубликованы для сообщества.
Источник: arXiv cs.CL ↗