Для языков с низким уровнем ресурсности (low-resource languages) оценка качества ответов больших языковых моделей (LLM) часто становится тупиком: стандартные LLM-судьи плохо понимают контекст и делают ошибки. Команда исследователей во главе с Менсаем Лоэмом (Mengsay Loem) из Японии представила Khmer PFGen-Bench — первый бенчмарк, оценивающий многопредложные ответы на вопросы, заданные непосредственно на кхмерском языке, без использования сторонних LLM-судей.
Методология: от LLM-судей к статистике
В основе бенчмарка лежит адаптация метода PFGen-Bench, разработанного ранее для японского языка. Вместо того чтобы просить другую модель оценить ответ, система использует ключевые слова и n-граммную статистику, сравнивая ответы модели с эталонными наборами (references). Ключевая проблема таких подходов — необходимость создания качественных и разнообразных эталонов, которые LLM могут генерировать с ошибками на слабых языках.
Авторы провели эксперименты, чтобы понять, как лучше формировать эталоны. Они обнаружили, что модели, прошедшие постобучение (post-trained), выдают более валидные, но менее разнообразные ответы, чем их базовые аналоги. Однако объединение моделей из разных семейств позволяет увеличить разнообразие эталонов без увеличения их количества.
Результаты и стабильность
Использование эталонов, сгенерированных моделями из девяти различных семейств, позволило создать систему оценки, которая:
- Дает стабильные ранжирования моделей независимо от набора эталонов.
- Находит высокую корреляцию с оценками носителей языка (native speakers).
Это решение открывает путь для создания надежных метрик оценки для других языков с низким уровнем ресурсности, где сбор данных от людей слишком дорог или сложен.
Сравнение подходов к генерации эталонов
| Тип модели | Качество эталонов | Разнообразие | Применимость |
|---|---|---|---|
| Базовые модели (Base) | Ниже | Выше | Хорошо для покрытия вариативности |
| Пост-обученные (Post-trained) | Выше | Ниже | Хорошо для точности ключевых фактов |
| Гибридный подход (9 семейств) | Высокий | Высокий | Оптимально для стабильного бенчмарка |
Работа опубликована 6 ноября 2026 года в архиве arXiv (cs.CL). Исследование подчеркивает важность отказа от «черного ящика» LLM-судей в пользу прозрачных статистических методов при работе с экосистемами, отличными от английского или китайского.
Источник: arXiv cs.CL ↗