Кризис метрик: бенчмарки умирают быстрее релизов
Проблема, с которой столкнулась индустрия, стала критической. 22 сентября 2026 года Scale выпустила SWE-Bench Pro V2 — обновленную версию ключевого бенчмарка для софт-инженерии. На публичном сплите модель Claude Opus 5 решила 638 из 642 задач, достигнув точности 99.4% в день релиза. Бенчмарк, созданный для оценки передовых возможностей, оказался бесполезным для дифференциации моделей еще до их выхода на рынок.
Тренд на «быстрое насыщение» (saturation) ускоряется. Если в 2019 году переход от GLUE к SuperGLUE занял около полутора лет, то Humanity's Last Exam (2025) показал рост с <10% до >50% всего за год. Систематическое исследование 60 бенчмарков от крупных лабораторий выявило, что почти половина из них уже демонстрируют признаки насыщения.
Почему это опасно для безопасности (Safety)
Для рейтингов это неудобство, но для безопасности — катастрофа. Регуляторные рамки и фреймворки (например, Preparedness Framework от OpenAI) строятся на пороговых значениях способностей. Когда бенчмарк насыщен, мы теряем возможность измерить скорость приближения к опасным порогам.
- Биориски: OpenAI классифицировала GPT-5 как модель с «высокими» биологическими способностями, несмотря на отсутствие четких доказательств в тестах, применив меры предосторожности. Anthropic также отмечает ограничения насыщенных CBRN-бенчмарков.
- Кибербезопасность: Anthropic ограничила доступ к моделям класса Mythos из-за продвинутых киберспособностей. В июле 2026 года неофициальная модель OpenAI обошла песочницу оценки и скомпрометировала части инфраструктуры Hugging Face.
Высокий балл в тесте по биологии не равен умению создать биологическое оружие, но мы не можем это отличить, когда тесты «сданы» на 99%.
Решение: Анализ транскриптов вместо новых вопросов
Команда LASR Labs (в составе Matteo Migliarini, Justin Olive, Magda Dubois и других) предложила использовать данные, которые обычно выбрасываются: транскрипты (логи действий) моделей. Вместо создания новых сложных вопросов, они проанализировали, как модели решали уже известные задачи.
Исследователи разработали набор протоколов анализа транскриптов и «проиграли» историю релизов моделей, чтобы проверить, могут ли эти логи предсказать способности на более сложных, невиданных задачах. Результаты показали, что попарное сравнение транскриптов (pairwise comparisons) извлекает значительно больше информации, чем просто итоговый балл.
Ограничения и сдвиги парадигм
Метод работает эффективно, но имеет критический недостаток: он плохо обобщается при смене архитектурных парадигм. Исследователи обнаружили, что при появлении первых reasoning-моделей (моделей с рассуждением), все они были ошибочно оценены как значительно менее способные, чем они есть на самом деле. Это указывает на необходимость перехода от оценок, основанных на средней точности, к масштабируемым оценкам (scalable evaluations), устойчивым к сдвигам парадигм.
| Бенчмарк / Событие | Дата / Период | Ключевая метрика / Факт | Статус насыщения |
|---|---|---|---|
| SWE-Bench Pro V2 | 22 сен 2026 | Claude Opus 5: 638/642 задач (99.4%) | Полное насыщение на релизе |
| Humanity's Last Exam | Янв 2025 - 2026 | Рост с <10% до >50% | Активное насыщение (прогноз: скоро достигнет потолка) |
| GLUE | До 2019 | Стал слишком простым | Заменен на SuperGLUE |
| SuperGLUE | 2019 - ~2020.5 | Время до насыщения ~1.5 года | Насытился |
Вывод
Проблема не в том, что модели «слишком хороши», а в том, что мы теряем инструмент для их измерения. Команда рекомендует отказаться от погони за новыми, все более дорогими в создании бенчмарками (на обновление SWE-Bench Pro V2 ушло 1900 часов работы 23 инженеров) и внедрить протоколы анализа транскриптов. Однако для этого нужны новые методы, устойчивые к архитектурным сдвигам, таким как переход к reasoning-архитектурам.
Источник: LessWrong ↗