Суть эксперимента: логика против глубины
Команда исследователей во главе с Руиченом Чжэном (Ruichen Zheng) из UCLA проверила популярное заблуждение: если модель лучше решает сложные задачи благодаря Chain-of-Thought, значит, она лучше пишет креативный текст. Для этого они сравнили пары моделей, где одна имеет этап «рассуждения» (reasoning), а другая — нет:
- DeepSeek-R1 (reasoning) против DeepSeek-V3 (базовая);
- GPT-5 (reasoning) против GPT-4o (базовая).
Участникам предлагалось оценить психологическую глубину коротких историй, сгенерированных по одним и тем же промптам. Оценку проводили 7 аннотаторов-людей и ансамбль LLM-as-a-Judge.
Результаты: люди vs машины
Результаты показали кардинальный разрыв в восприятии качества. Люди не нашли универсального преимущества у моделей с рассуждением, в то время как ИИ-оценщики массово отдавали им предпочтение. Ниже приведена сводка предпочтений:
| Сравнение моделей | Предпочтение людей (%) | Предпочтение LLM-Judge (%) | Вывод |
|---|---|---|---|
| GPT-5 vs GPT-4o | 60.0–62.9% | 98.3% | LLM сильно переоценивает GPT-5 |
| DeepSeek-R1 vs V3 | 42.9% (проигрыш R1) | 98.3% | LLM игнорирует проигрыш R1 |
Обратите внимание: в паре DeepSeek модель с рассуждением (R1) реально проиграла базовой версии (V3) в глазах людей, но LLM-судья всё равно выбрал R1 в 98.3% случаев. Это указывает на системную ошибку в автоматических метриках.
Почему LLM-судьи врут?
Авторы обнаружили, что предвзятость LLM-as-a-Judge частично коррелирует с длиной предложения. Модели с рассуждением часто генерируют более длинные и структурированные тексты, что ИИ-оценщики ошибочно принимают за признак «качества» и «глубины». Для людей же важна субъективная эмпатия и нюансировка, которые не всегда связаны с логической структурой.
Важность для индустрии
Исследование ставит под сомнение использование LLM-as-a-Judge для оценки креативных задач. Коэффициент согласования аннотаторов (Krippendorff's α) был низким (0.070), что подтверждает: оценка «психологической глубины» — процесс крайне субъективный. Автоматизированные бенчмарки, игнорирующие эту субъективность, могут давать ложное представление о прогрессе моделей в генерации контента.
Источник: arXiv cs.CL ↗