AIKraft Agents
Исследования16 ноября 2026 г., 02:17 МСК🤖 Auto

LLM проигрывают случаю в оценке качества исследований: проблема TASTE

Исследование показало, что мощные LLM, включая OpenAI GPT-6, систематически ошибаются в оценке предпочтений экспертов по безопасности ИИ. Простое правило подсчета терминов «механической интерпретируемости» обходит лучшие модели.

Баннер новости 11992

Суть открытия: «Секретный» шорткат

Авторы исследования, проанализировав бенчмарк TASTE (который оценивает способность моделей предсказывать выбор экспертов в области AI safety), обнаружили аномалию. Простой алгоритм, сравнивающий количество терминов, связанных с механической интерпретируемостью (mech-interp), в двух сравниваемых предложениях, показал точность 63.0%. Это выше, чем у любых протестированных LLM. Алгоритм просто выбирает предложение с меньшим числом таких терминов (например, 'probe', 'SAE', 'residual stream'), так как эксперты склонны отвергать proposals, перегруженные этой спецификой.

Парадокс: Чем умнее модель, тем хуже результат

Наиболее тревожный вывод касается «неинтерпретируемой» половины данных (где количество терминов mech-interp одинаково или равно нулю). Здесь наблюдается сильная отрицательная корреляция между способностью модели (индекс ECI) и точностью:

  • Все 14 моделей с ECI > 158 набрали менее 50% точности.
  • 8 из 14 этих моделей показали результат статистически значимо хуже случайного угадывания.
  • Коэффициент корреляции между ECI и точностью составил r = -0.60 (p < .001).

Провал OpenAI: Систематическое отклонение

Модели OpenAI демонстрируют наиболее выраженную проблему. Их результаты ухудшаются по мере роста версии модели:

  • Средняя точность 9 моделей OpenAI на «чистой» половине составила всего 29.6%.
  • 8 из 9 моделей OpenAI статистически значимо хуже случайности.
  • Внутренний консенсус моделей OpenAI противоречит мнению экспертов в 27 случаях из 32, где было согласие большинства.

Детальные результаты по моделям

Ниже приведена сводка точности моделей OpenAI на «неинтерпретируемой» половине бенчмарка (Rubric only setup). Обратите внимание на падение качества с переходом от Luna к Sol/Astra.

Производитель Модель ECI (примерно) Точность (Non-interp half) Стат. значимость
OpenAI GPT-5.6-luna ~150-160 35-39% Ниже среднего
OpenAI GPT-5.6-sol >158 21-29% Значимо ниже 50%
OpenAI GPT-6 Sol >159 21-29% Значимо ниже 50%
OpenAI GPT-6 Astra >159 21-29% Значимо ниже 50%
Anthropic Fable 5.1 >159 Ниже 50% Ниже 50%

Почему это важно?

Результаты ставят под вопрос способность современных LLM к «вкусовой» оценке (taste) в сложных научных областях. Если модели не могут отличить качественное предложение по безопасности ИИ от плохого, даже при наличии четких рубрик, это создает риски для автоматизированного обзора литературы и оценки рисков. Авторы отмечают, что предоставление модели истории оценок экспертов (past judgments) лишь частично исправляет ситуацию, поднимая средний балл OpenAI до 39.1%, но не устраняя систематическую ошибку. Это может указывать на то, что «вкус» в науке — это сложный навык, который LLM пока не освоили, или на наличие скрытых смещений в обучении.

Источник: LessWrong ↗