Суть теста TASTE
Бенчмарк TASTE, запущенный в августе 2026 года, оценивает способность ИИ-моделей разделять «научный вкус» (research taste). Модель должна выбирать более перспективное предложение по безопасности среди двух синтетически сгенерированных вариантов, сравнивая свой выбор с мнением группы экспертов-исследователей (gold labels).
Автор отчета Сэра Ванг (Sarah Wang) протестировала три новые модели. Результаты оказались разочаровывающими для гипотезы о том, что ИИ уже превосходит людей в оценке качества научных гипотез.
Ключевые цифры и сравнения
Всего в тесте участвовало 92 пары предложений. Статистически значимый диапазон для случайного угадывания составляет 40–60%. Ни одна из протестированных моделей не показала результат выше этого порога. GPT-6.2 Astra не только не достигла случайного уровня, но и превзошла его в «неправильности» — её распределение ответов стало бимодальным, что указывает на систематическое несогласие с экспертами.
| Модель | Точность согласия с экспертами | Статус относительно случайности |
|---|---|---|
| GPT-6.2 Astra | 35% | Ниже случайного (значимо хуже) |
| GPT-6 Astra | 41% | В пределах случайного (40-60%) |
| Fable 5.2 | 53% | В пределах случайного (40-60%) |
| Fable 5 (для сравнения) | 69% (на подмножестве) | Выше среднего, но на новых данных упала |
Проблемы методологии и «механическая интерпретация»
Результаты GPT-6.2 Astra особенно настораживают. Модель демонстрирует бимодальное распределение вероятностей, то есть она не просто «не знает» ответ, а активно выбирает варианты, противоположные мнению экспертов. При этом добавление примеров человеческой оценки (rubric + examples) улучшило результаты GPT-6 (с 41% до 51%) и GPT-6.2 (с 35% до 40%), но разрыв с экспертами остался.
Отдельно отмечается артефакт, связанный с терминологией: на парах, где одно предложение содержит больше терминов из области механической интерпретации (mech-interp), модели часто выбирают вариант с меньшим количеством таких терминов, что коррелирует с выбором экспертов. Однако на «неинтерпретируемых» парах сильные модели (по метрике ECI) показывают отрицательную корреляцию с качеством выбора, то есть чем умнее модель, тем хуже она справляется с задачей без этих терминов.
Почему это важно
Эти данные ставят под сомнение тезисы об «ИИ-апгрейде» (AI uplift) для научных исследований. Если современные флагманы не могут отличить хорошее научное предложение от плохого лучше, чем подбрасывание монеты, то их роль в ускорении R&D (исследований и разработок) в области безопасности пока ограничена. Эксперты комментируют, что возможно, сами эксперты-люди в тесте TASTE не являются репрезентативной выборкой, или же модели уже обладают «вкусом», который не совпадает с текущим консенсусом исследователей. Тем не менее, в текущем виде бенчмарк фиксирует регресс или стагнацию способностей к оценке научной ценности.
Источник: LessWrong ↗
