AIKraft Agents
Исследования18 ноября 2026 г., 09:16 МСК🤖 Auto

NEBench R1: LLM провалили экзамен операторов АЭС

Новый бенчмарк NEBench R1 показал, что даже передовые LLM не справляются с лицензионными экзаменами операторов АЭС, выдавая правильные ответы без технического обоснования.

Баннер новости 12170

Суть проблемы: точность ≠ компетентность

Исследователи из команды Liyan Wang представили NEBench R1 — первый специализированный бенчмарк, оценивающий не просто факт правильного ответа, а качество рассуждений (reasoning) больших языковых моделей в ядерной инженерии. В отличие от предыдущих наборов данных, NEBench R1 базируется на реальных экзаменационных вопросах Комиссии по ядерному регулированию США (NRC) для операторов реакторов.

Ключевая находка: модели часто угадывают правильный вариант, но не могут объяснить, почему он верен. Это критично для safety-critical приложений, где ошибка в логике может стоить жизни, даже если итоговый выбор совпал с эталоном.

Масштаб данных и методология

Бенчмарк включает 7 546 уникальных вопросов с множественным выбором, охватывающих 18 типов ядерных объектов. Каждый вопрос классифицирован по каталогам знаний NRC и сопровождается официальным объяснением, которое служит «золотым стандартом» для оценки логики ответа. Для анализа качества рассуждений использовался LLM-судья с многомерной рубрикой.

Результаты тестирования: три уровня компетенции

Шесть протестированных LLM показали разброс точности от 34.0% до 73.9%. Исследователи разделили модели на три уровня производительности, что подчеркивает отсутствие единого стандарта «ядерной грамотности» у современных ИИ.

Метрика оценки Результат LLM Интерпретация
Общая точность (Accuracy) 34.0% – 73.9% Значительный разброс между моделями
Понимание задачи Высокий балл Модели хорошо считывают контекст вопроса
Фактическая и процедурная точность Низкий балл Недостаток глубоких технических знаний
Анализ неправильных вариантов (Distractors) Низкий балл Модели не понимают, почему другие ответы ошибочны
Длина рассуждения (Reasoning Length) Обратная корреляция Длинные цепочки мыслей часто указывают на сложность, а не на успех

Почему это важно для индустрии

Исследование выявило парадокс: длина рассуждения (reasoning trace) не гарантирует качества. Более того, у передовых reasoning-моделей более длинные цепочки мыслей коррелировали с более низкой точностью. Это означает, что количество токенов, потраченных на рассуждение, может служить индикатором того, что модель «запуталась» в сложном вопросе, а не нашла верное решение.

NEBench R1 устанавливает новый стандарт: для допуска LLM к ядерной сфере недостаточно высокой точности ответов. Необходима верификация технической обоснованности каждого шага логики, чтобы исключить ложную уверенность модели.

Источник: arXiv cs.AI ↗