Кризис доверия к метрикам
Индустрия искусственного интеллекта столкнулась с фундаментальной проблемой: старые стандарты оценки больше не отражают реальную способность моделей решать задачи. Лаборатории, которые создали самые известные бенчмарки, теперь признают их устаревшими или вводящими в заблуждение. Это не просто техническая деталь, а сигнал о том, что гонка за очками в тестах сменилась гонкой за реальной полезностью.
Ключевые отозванные стандарты
Речь идет о наборах данных, которые десятилетиями были «золотым стандартом» для оценки языковых моделей. Вот основные примеры:
- GLUE/SuperGLUE (от Google/FAIR): Долгое время были эталоном для оценки понимания языка. Теперь считаются слишком простыми для современных LLM, которые достигают на них почти 100% точности, что делает их бесполезными для дифференциации моделей.
- ImageNet (от Stanford/ILSVRC): Долгое время был главным бенчмарком для компьютерного зрения. С появлением моделей, превосходящих человека по точности классификации, он перестал быть индикатором прогресса.
- HumanEval (от OpenAI): Использовался для оценки способности моделей писать код. Однако исследования показали, что модели могут «запоминать» тестовые примеры из обучающих данных, что приводит к завышенным оценкам.
Почему это важно?
Отзыв этих бенчмарков означает конец эры, когда можно было просто заявить: «Наша модель лучше, потому что набрала больше очков в MMLU или GSM8K». Новые подходы фокусируются на:
- Real-world tasks: Оценка на реальных, а не синтетических задачах.
- Robustness: Проверка на устойчивость к adversarial-атакам и галлюцинациям.
- Cost-effectiveness: Соотношение качества ответа и вычислительных затрат.
Для разработчиков и бизнеса это значит, что старые сравнительные таблицы из презентаций больше не работают. Нужно запрашивать у вендоров конкретные кейсы и метрики, релевантные для вашей задачи, а не полагаться на общие рейтинги.
Источник: Towards AI pub ↗