Проблема «шума» в бенчмарках
Новая модель заняла первое место в лидерборде с результатом 71.8%, опередив преследователя на 1.8%. На первый взгляд, это убедительное преимущество. Однако автор исследования, проведшего собственный анализ на базе 2000 вопросов из датасета MMLU, доказывает, что такая разница часто укладывается в погрешность выборки. В тестах с малым количеством вопросов (например, AIME с 30 задачами) одна ошибка стоит 3.3 балла, что делает невозможным точное измерение разницы в 1.8 балла между моделями.
Эксперимент: 8 моделей, 2000 вопросов
Автор протестировал восемь открытых моделей на одинаковом наборе вопросов, исключив генерацию текста (только выбор вероятного ответа). Это позволило запустить тесты на одной GPU T4. Результаты показали, что в «середине» лидерборда модели находятся в пределах статистической погрешности друг друга.
| Модель | Результат (MMLU) | Статус |
|---|---|---|
| Qwen3-4B-Base | 71.8% | Лидер (с погрешностью) |
| Phi-3.5-mini-instruct | 70.0% | Второе место (с погрешностью) |
| Qwen3-1.7B-Base | 60.2% | Группа равных |
| Qwen2.5-1.5B | 59.4% | Группа равных |
| SmolLM3-3B-Base | 59.1% | Группа равных |
Почему ранжирование ненадежно?
При повторном случайном выборе вопросов (пересемплировании) порядок лидеров меняется. Если использовать всего 30 вопросов, модель, занявшая первое место на полном наборе, остается лидером лишь в 45% случаев. Даже при 2000 вопросах вероятность сохранения точного порядка топ-3 составляет всего 77%. Это означает, что текущие лидерборды часто фиксируют случайные колебания, а не реальное превосходство архитектуры.
Статистическая значимость и парный тест
Использование парного теста Макнемара (сравнение моделей на одних и тех же вопросах) сузило доверительный интервал разницы между топ-моделями с ±2.82 до ±1.96 пункта. Однако p-value для разницы между Qwen3-4B-Base и Phi-3.5-mini-instruct составил 0.072, что выше порога значимости 0.05. Нулевая гипотеза (отсутствие разницы) не отвергается.
Сколько вопросов нужно для уверенности?
Для надежного обнаружения разницы в 1.8% при текущей частоте расхождений моделей требуется около 4600 вопросов. Автор приводит формулу для расчета необходимого объема выборки:
n ≈ ((1.96 + 0.84)² * q) / d²
Где q — доля вопросов, на которых модели расходятся в ответах, а d — искомая разница в точности. Для обнаружения разницы в 1 пункт потребуется уже ~21 000 вопросов, а для 5 пунктов — всего ~840.
Вывод для индустрии
Авторы статей и пользователи должны смотреть не на абсолютные ранги, а на кластеры моделей с пересекающимися доверительными интервалами. Разница в несколько процентов на сотнях вопросов — это «шум». Для выбора модели под реальные задачи единственный надежный метод — собственный тест на релевантном датасете, а не слепо доверие публичным лидербордам.
Источник: Towards Data Science ↗