Проблема существующих метрик
Существующие бенчмарки для оценки больших языковых моделей (LLM) на корейском языке часто дают ложное чувство уверенности. Анализ показал, что большинство вопросов в них решаются простым фактическим воспроизведением (factual recall). Если модель отвечает неправильно, невозможно понять: она не знает факта или не умеет его логически применить. Это делает невозможным изоляцию способности к сложному применению знаний.
Решение: KLEAR
Команда исследователей во главе с Сеён Ким (Seoyeon Kim) представила KLEAR (Knowledge-Matched LLM Evaluation in Korean). Ключевая инновация — создание «сопоставленных по знанию» пар вопросов. Фреймворк берет исходный вопрос, извлекает из него ядро знаний (anchor bundle) и генерирует новый вопрос, требующий более сложного применения этих же знаний. Таким образом, база данных остается неизменной, меняется только уровень когнитивной нагрузки.
Методология и валидация
Процесс создания датасета включает несколько этапов:
- Автоматическая генерация: Создание кандидатов на основе извлеченных якорей знаний.
- Итеративная проверка: Автоматическая и ручная валидация с обратной связью.
- Контроль ограничений: Убедительность в том, что уровень требуемых знаний действительно совпадает, а меняется только задача применения.
Результаты тестирования
Эксперименты с различными LLM показали, что KLEAR успешно выполняет поставленные задачи. Главная находка: увеличение требования к применению знаний выявляет системные ошибки, которые не видны при простых тестах на запоминание. Даже когда модели предоставляют необходимые знания, они часто терпят неудачу в их корректном использовании в контексте.
| Аспект | Стандартные бенчмарки | KLEAR |
|---|---|---|
| Основной фокус | Фактическое воспроизведение (Recall) | Применение знаний (Application) |
| Изоляция ошибки | Невозможно (смешивает незнание и ошибку логики) | Возможно (контролируемое изменение задачи) |
| Метод генерации | Ручной или статический | Контролируемая трансформация с якорями знаний |
| Выявляемые проблемы | Недостаток данных в обучении | Неспособность к логическому выводу |
Работа опубликована 6 ноября 2026 года в arXiv (cs.CL) и находится на стадии рецензирования. Это важный шаг для объективной оценки корейскоязычных LLM, которые часто отстают в качественных метриках от англоязычных аналогов.
Источник: arXiv cs.CL ↗