Проблема насыщения бенчмарков
Быстрое развитие ИИ привело к тому, что стандартные бенчмарки перестали быть дифференцирующим инструментом. Когда несколько моделей достигают近乎 идеальных результатов, точность (accuracy) теряет смысл для оценки прогресса и формирования политик безопасности. Однако полный текст решения задачи (транскрипт) содержит гораздо больше информации, чем просто итоговый балл.
Методология: анализ «под капотом»
Авторы исследования (Morio Hamada, Jehyeok Yeon и др.) провели ретроспективную симуляцию насыщения, используя исторические данные. Они проверили, можно ли предсказать способности моделей на новых, «ненасыщенных» задачах, анализируя только те транскрипты, где модель дала правильный ответ на старых, перенасыщенных тестах. Были протестированы три подхода:
- Pairwise judging: сравнение ответов двух моделей между собой.
- Single-transcript absolute scoring: абсолютная оценка одного транскрипта.
- Детерминированные признаки: анализ эмбеддингов и структурных элементов текста.
Ключевые результаты
Самым эффективным методом оказался pairwise judging (сравнительное судейство). Он позволил значительно снизить ошибку предсказания по сравнению с базовым подходом, использующим только итоговые баллы. Информация о способностях распределена по всему тексту, но наиболее концентрирована в каналах, связанных с логическим рассуждением (reasoning) и вызовами инструментов (tool-calls).
| Метод оценки | Эффективность (снижение ошибки предсказания) | Примечание |
|---|---|---|
| Pairwise judging | 5.3x (лучший результат) | Сравнение ответов моделей дает максимальную информативность |
| Single-transcript scoring | Ниже | Менее эффективно изолирует качественные различия |
| Baseline (только баллы) | 1x (база) | Не учитывает процесс решения, только результат |
Ограничения и выводы
Несмотря на успех, метод не всегда обобщается при сдвиге распределения (distribution shift). Например, он склонен недооценивать возможности первых моделей с reasoning, появившихся в начале 2025 года. Это означает, что для продления жизни существующих бенчмарков требуются более robust-методы извлечения сигналов из транскриптов, а не просто слежение за точностью ответов.
Источник: arXiv cs.AI ↗