Система 1 против Системы 2: новый стандарт оценки
Исследователи из Lichen Li, Ziping Dong и коллег представили SO-Arena — первый крупный бенчмарк, оценивающий не только способность моделей к рассуждению, но и их надежность (reliability) в условиях неопределенности. В центре внимания — «System One» модели, которые выдают ответ мгновенно, без этапа внутреннего размышления (System Two), характерного для GPT-6 Luna или o1.
Тестирование охватывает 2 919 задач в 11 доменах, включая математику, код, безопасность и работу с инструментами. Для лидерборда отобраны самые сложные задачи (hard/very hard tier), всего 1 232 задачи.
Лидерборд: Точность против Скорости
Главный вывод: абсолютное лидерство по баллам принадлежит закрытой модели GPT-6 Luna (System Two) со счетом 79.68. Однако среди открытых и API-моделей System One безоговорочно лидирует GLiDE (Fastino, 27B) с результатом 70.21, что делает разрыв всего в ~9.5 балла при многократном превосходстве в скорости.
| Модель | Производитель | Размер | Счет (Score) | Задержка (Latency) |
|---|---|---|---|---|
| GPT-6 Luna | OpenAI | System Two | 79.68 | 2.7 s |
| GLiDE | Fastino | 27B | 70.21 | 113 ms |
| KnowLine-31B | PelaAI | 31B | 70.19 | 177 ms |
| Sieve-31B-v3 | Sthanika AI | 31B | 67.65 | 265 ms |
| Decider-27B | Perplexity | 27B | 66.70 | 153 ms |
| Kev-27B | J. Palmer | 27B | 61.39 | 90.3 ms |
| Gemini Decision 1 | API | 61.25 | 608 ms |
Парадокс надежности: Топ-1 не самый надежный
SO-Arena вводит метрику Reliability (R), которая рассчитывается как корень из произведения двух показателей: устойчивости к порядку вариантов (S) и способности замечать отсутствие правильного ответа (N). Это критически важно для агентов, которые не могут переспросить пользователя.
Оказалось, что модели с наивысшим баллом не всегда самые надежные. Например, JevAny-27B занимает лишь 7-е место по общему счету (58.37), но является самой надежной моделью (R=84.1). Напротив, GLiDE, лидирующий по точности, имеет надежность 77.6, уступая некоторым конкурентам.
Где System One проигрывает, а где равняется System Two?
Разрыв между мгновенными моделями и GPT-6 Luna сильно зависит от домена:
- Семантика и безопасность: System One модели (например, GLiDE) показывают результаты, сопоставимые с System Two, в задачах на понимание эмоций, знание фактов и безопасность (+4.8 и +4.0 балла разницы соответственно).
- Сложное логическое мышление: В математике, коде и научном рассуждении разрыв огромен. GLiDE отстает от GPT-6 Luna на 26.7 балла в математике и на 25.7 в коде.
- Веб-взаимодействие: В задачах на взаимодействие с веб-страницами (Text-based Web Interaction) разрыв достигает 28.9 балла в пользу System Two.
Почему это важно?
SO-Arena демонстрирует, что для многих прикладных задач (рутинг, классификация, базовая семантика) легкие модели System One (4B-27B) могут заменить тяжелые System Two, экономя время и деньги. Однако для задач, требующих глубокого анализа или многошаговых вычислений, System Two пока незаменимы. Исследователи открыли код и датасет на GitHub, позволяя любому оценить свою модель по этим строгим метрикам.
Источник: Github ↗
