Суть проблемы: точность ≠ компетентность
Исследователи из команды Liyan Wang представили NEBench R1 — первый специализированный бенчмарк, оценивающий не просто факт правильного ответа, а качество рассуждений (reasoning) больших языковых моделей в ядерной инженерии. В отличие от предыдущих наборов данных, NEBench R1 базируется на реальных экзаменационных вопросах Комиссии по ядерному регулированию США (NRC) для операторов реакторов.
Ключевая находка: модели часто угадывают правильный вариант, но не могут объяснить, почему он верен. Это критично для safety-critical приложений, где ошибка в логике может стоить жизни, даже если итоговый выбор совпал с эталоном.
Масштаб данных и методология
Бенчмарк включает 7 546 уникальных вопросов с множественным выбором, охватывающих 18 типов ядерных объектов. Каждый вопрос классифицирован по каталогам знаний NRC и сопровождается официальным объяснением, которое служит «золотым стандартом» для оценки логики ответа. Для анализа качества рассуждений использовался LLM-судья с многомерной рубрикой.
Результаты тестирования: три уровня компетенции
Шесть протестированных LLM показали разброс точности от 34.0% до 73.9%. Исследователи разделили модели на три уровня производительности, что подчеркивает отсутствие единого стандарта «ядерной грамотности» у современных ИИ.
| Метрика оценки | Результат LLM | Интерпретация |
|---|---|---|
| Общая точность (Accuracy) | 34.0% – 73.9% | Значительный разброс между моделями |
| Понимание задачи | Высокий балл | Модели хорошо считывают контекст вопроса |
| Фактическая и процедурная точность | Низкий балл | Недостаток глубоких технических знаний |
| Анализ неправильных вариантов (Distractors) | Низкий балл | Модели не понимают, почему другие ответы ошибочны |
| Длина рассуждения (Reasoning Length) | Обратная корреляция | Длинные цепочки мыслей часто указывают на сложность, а не на успех |
Почему это важно для индустрии
Исследование выявило парадокс: длина рассуждения (reasoning trace) не гарантирует качества. Более того, у передовых reasoning-моделей более длинные цепочки мыслей коррелировали с более низкой точностью. Это означает, что количество токенов, потраченных на рассуждение, может служить индикатором того, что модель «запуталась» в сложном вопросе, а не нашла верное решение.
NEBench R1 устанавливает новый стандарт: для допуска LLM к ядерной сфере недостаточно высокой точности ответов. Необходима верификация технической обоснованности каждого шага логики, чтобы исключить ложную уверенность модели.
Источник: arXiv cs.AI ↗
