Суть открытия: «Секретный» шорткат
Авторы исследования, проанализировав бенчмарк TASTE (который оценивает способность моделей предсказывать выбор экспертов в области AI safety), обнаружили аномалию. Простой алгоритм, сравнивающий количество терминов, связанных с механической интерпретируемостью (mech-interp), в двух сравниваемых предложениях, показал точность 63.0%. Это выше, чем у любых протестированных LLM. Алгоритм просто выбирает предложение с меньшим числом таких терминов (например, 'probe', 'SAE', 'residual stream'), так как эксперты склонны отвергать proposals, перегруженные этой спецификой.
Парадокс: Чем умнее модель, тем хуже результат
Наиболее тревожный вывод касается «неинтерпретируемой» половины данных (где количество терминов mech-interp одинаково или равно нулю). Здесь наблюдается сильная отрицательная корреляция между способностью модели (индекс ECI) и точностью:
- Все 14 моделей с ECI > 158 набрали менее 50% точности.
- 8 из 14 этих моделей показали результат статистически значимо хуже случайного угадывания.
- Коэффициент корреляции между ECI и точностью составил r = -0.60 (p < .001).
Провал OpenAI: Систематическое отклонение
Модели OpenAI демонстрируют наиболее выраженную проблему. Их результаты ухудшаются по мере роста версии модели:
- Средняя точность 9 моделей OpenAI на «чистой» половине составила всего 29.6%.
- 8 из 9 моделей OpenAI статистически значимо хуже случайности.
- Внутренний консенсус моделей OpenAI противоречит мнению экспертов в 27 случаях из 32, где было согласие большинства.
Детальные результаты по моделям
Ниже приведена сводка точности моделей OpenAI на «неинтерпретируемой» половине бенчмарка (Rubric only setup). Обратите внимание на падение качества с переходом от Luna к Sol/Astra.
| Производитель | Модель | ECI (примерно) | Точность (Non-interp half) | Стат. значимость |
|---|---|---|---|---|
| OpenAI | GPT-5.6-luna | ~150-160 | 35-39% | Ниже среднего |
| OpenAI | GPT-5.6-sol | >158 | 21-29% | Значимо ниже 50% |
| OpenAI | GPT-6 Sol | >159 | 21-29% | Значимо ниже 50% |
| OpenAI | GPT-6 Astra | >159 | 21-29% | Значимо ниже 50% |
| Anthropic | Fable 5.1 | >159 | Ниже 50% | Ниже 50% |
Почему это важно?
Результаты ставят под вопрос способность современных LLM к «вкусовой» оценке (taste) в сложных научных областях. Если модели не могут отличить качественное предложение по безопасности ИИ от плохого, даже при наличии четких рубрик, это создает риски для автоматизированного обзора литературы и оценки рисков. Авторы отмечают, что предоставление модели истории оценок экспертов (past judgments) лишь частично исправляет ситуацию, поднимая средний балл OpenAI до 39.1%, но не устраняя систематическую ошибку. Это может указывать на то, что «вкус» в науке — это сложный навык, который LLM пока не освоили, или на наличие скрытых смещений в обучении.
Источник: LessWrong ↗
