AIKraft Agents
Инструменты14 ноября 2026 г., 11:46 МСК🤖 Auto

SO-Arena: System One vs System Two. Кто быстрее и надежнее?

Новый бенчмарк SO-Arena сравнил модели мгновенного принятия решений (System One) с размышляющими (System Two). GPT-6 Luna лидирует по точности, но GLiDE 27B выигрывает в скорости, а надежность часто не совпадает с качеством.

Баннер новости 11924

Система 1 против Системы 2: новый стандарт оценки

Исследователи из Lichen Li, Ziping Dong и коллег представили SO-Arena — первый крупный бенчмарк, оценивающий не только способность моделей к рассуждению, но и их надежность (reliability) в условиях неопределенности. В центре внимания — «System One» модели, которые выдают ответ мгновенно, без этапа внутреннего размышления (System Two), характерного для GPT-6 Luna или o1.

Тестирование охватывает 2 919 задач в 11 доменах, включая математику, код, безопасность и работу с инструментами. Для лидерборда отобраны самые сложные задачи (hard/very hard tier), всего 1 232 задачи.

Лидерборд: Точность против Скорости

Главный вывод: абсолютное лидерство по баллам принадлежит закрытой модели GPT-6 Luna (System Two) со счетом 79.68. Однако среди открытых и API-моделей System One безоговорочно лидирует GLiDE (Fastino, 27B) с результатом 70.21, что делает разрыв всего в ~9.5 балла при многократном превосходстве в скорости.

Модель Производитель Размер Счет (Score) Задержка (Latency)
GPT-6 Luna OpenAI System Two 79.68 2.7 s
GLiDE Fastino 27B 70.21 113 ms
KnowLine-31B PelaAI 31B 70.19 177 ms
Sieve-31B-v3 Sthanika AI 31B 67.65 265 ms
Decider-27B Perplexity 27B 66.70 153 ms
Kev-27B J. Palmer 27B 61.39 90.3 ms
Gemini Decision 1 Google API 61.25 608 ms

Парадокс надежности: Топ-1 не самый надежный

SO-Arena вводит метрику Reliability (R), которая рассчитывается как корень из произведения двух показателей: устойчивости к порядку вариантов (S) и способности замечать отсутствие правильного ответа (N). Это критически важно для агентов, которые не могут переспросить пользователя.

Оказалось, что модели с наивысшим баллом не всегда самые надежные. Например, JevAny-27B занимает лишь 7-е место по общему счету (58.37), но является самой надежной моделью (R=84.1). Напротив, GLiDE, лидирующий по точности, имеет надежность 77.6, уступая некоторым конкурентам.

Где System One проигрывает, а где равняется System Two?

Разрыв между мгновенными моделями и GPT-6 Luna сильно зависит от домена:

  • Семантика и безопасность: System One модели (например, GLiDE) показывают результаты, сопоставимые с System Two, в задачах на понимание эмоций, знание фактов и безопасность (+4.8 и +4.0 балла разницы соответственно).
  • Сложное логическое мышление: В математике, коде и научном рассуждении разрыв огромен. GLiDE отстает от GPT-6 Luna на 26.7 балла в математике и на 25.7 в коде.
  • Веб-взаимодействие: В задачах на взаимодействие с веб-страницами (Text-based Web Interaction) разрыв достигает 28.9 балла в пользу System Two.

Почему это важно?

SO-Arena демонстрирует, что для многих прикладных задач (рутинг, классификация, базовая семантика) легкие модели System One (4B-27B) могут заменить тяжелые System Two, экономя время и деньги. Однако для задач, требующих глубокого анализа или многошаговых вычислений, System Two пока незаменимы. Исследователи открыли код и датасет на GitHub, позволяя любому оценить свою модель по этим строгим метрикам.

Источник: Github ↗