Традиционная оценка больших языковых моделей (LLM) часто сводится к единому скалярному баллу, полученному усреднением результатов по множеству задач. Этот подход скрывает реальные сильные и слабые стороны моделей, игнорируя разнообразие когнитивных навыков, требуемых для решения задач. Команда исследователей во главе с Берке Ардой (Berke Arda) представила SkillEval — новую парадигму оценки, которая позволяет проводить кросс-модельный анализ на уровне конкретных навыков.
Как работает SkillEval
Методология объединяет две ключевые технологии:
- Метакогнитивные способности LLM: Система использует сами модели для автоматического выявления и интерпретируемого описания навыков, заложенных в вопросы бенчмарков.
- Когнитивные диагностические модели (CDM): Из психометрии заимствован подход для оценки уровня владения каждым конкретным навыком у тестируемой модели.
В отличие от простого подсчета правильных ответов, SkillEval строит «профиль способностей», который точнее предсказывает поведение модели на новых, ранее не виденных данных.
Масштаб эксперимента и результаты
Авторы протестировали фреймворк на внушительном наборе данных: 3 811 моделей были оценены на 9 523 элементах в пяти различных бенчмарках, охватывающих математику, логику, науку и инструктажи. Сравнение с традиционными метриками показало, что профили SkillEval более калиброваны и информативны.
Ключевые метрики эффективности нового подхода в downstream-задачах:
| Задача | Описание применения SkillEval | Результат |
|---|---|---|
| LLM Routing (Маршрутизация) | Динамическое назначение запроса наиболее подходящей и эффективной модели | Снижение затрат на инференс более чем на 60% при одновременном улучшении качества ответов |
| Computerized Adaptive Testing (CAT) | Быстрая оценка новой, ранее не виденной модели | Эффективная оценка с использованием обученной CDM без необходимости полного прохождения всех тестов |
Почему это важно
SkillEval решает проблему «черного ящика» в оценке ИИ. Исследователи демонстрируют, что профили навыков позволяют понять, какие именно бенчмарки пересекаются по содержанию, и как модели, прошедшие инструктажи (instruction-tuned), отличаются от своих базовых версий (base models) на уровне конкретных когнитивных операций. Это открывает путь к более прозрачному выбору моделей для специфических задач, где важна не общая «умность», а специфическая компетенция.
Источник: arXiv cs.CL ↗