Новый лидер бенчмарков и скрытые нюансы
В этой неделе Meta сделала серьезный шаг вперед, выпустив модель Muse Wonder Full, которая показала результат 56 баллов в Intelligence Index от Artificial Analysis. Для сравнения: GPT-6 Astra от OpenAI набрал 53 балла, а GPT-6.1 Sol — 52. Однако важно отметить, что лидерство в абсолютном значении (58 баллов) пока сохраняет Opus 5.5 от Anthropic с включенным fallback-режимом.
Ключевой момент: результат 56 баллов принадлежит версии Muse Full, доступной только по подписке Muse Code. Стандартная модель Wonder через API показывает 52 балла, что ставит Meta в один ряд с OpenAI, но не дает однозначного превосходства.
Сдвиг фокуса: память и персистентность
Meta делает ставку не только на сырые баллы, но и на архитектуру агентов. Новая система Active Memory позволяет модели извлекать контекст из предыдущих диалогов, а Active Focus помогает агенту преодолевать блокировки и менять направление работы без вмешательства человека. Это критически важно для долгосрочных проектов, где модель должна работать на протяжении нескольких дней.
Проблема «Benchmaxxing» и новые тесты
Авторы статьи предупреждают: маленькие различия в баллах (56 против 53) не отражают реальной разницы в качестве. Проблема «benchmaxxing» заключается в том, что модели обучаются на данных, похожих на бенчмарки, что дает искусственное преимущество в тестах, но не в реальных сценариях с нестандартными документами или противоречивыми инструкциями.
В ответ на это создатели ToneBench представили новый подход к оценке: тестирование на написании видео-сценариев. Был протестирован пул из 78 моделей в 127 конфигурациях, что дало 6 350 черновиков и 25 400 оценок.
Результаты ToneBench: цена против качества
В тесте на письмо (Writing Elo) лидирует Opus 5.5, но разница между режимами xhigh и maximum effort минимальна. При этом стоимость генерации скрипта в режиме xhigh составляет около $1.00, а в maximum effort — $2.58. Это делает режим xhigh более выгодным для большинства задач.
| Модель / Режим | Результат / Место | Стоимость (примерно) | Примечание |
|---|---|---|---|
| Opus 5.5 (xhigh) | Лидер (Writing Elo) | $1.00 за скрипт | Оптимальное соотношение цена/качество |
| Opus 5.5 (maximum) | Лидер (Writing Elo) | $2.58 за скрипт | Переплата не оправдана разницей в качестве |
| GLM-5.3 Flash (max) | 12-е место | $0.022 за скрипт | Выгодно для массовых задач, требует проверки на правки |
| Muse Wonder Full | 56 баллов (Intelligence Index) | По подписке | Доступен через Muse Code, не через стандартное API |
| GPT-6 Astra | 53 балла (Intelligence Index) | — | Уступает Muse Full, но превосходит Sol 6.1 |
Будущее оценки: от экзаменов к исследованиям
Авторы предлагают перейти от тестирования на фиксированных задачах к оценке способности моделей генерировать новые знания. Примером служит публикация OpenAI сотен математических рукописей, где модели предлагают новые теоремы. Однако это сложно верифицировать. В то же время, ToneBench выявил системные смещения: автоматические судьи от OpenAI и Anthropic склонны выше оценивать outputs своих же лабораторий, что требует внедрения человеческой оценки для объективности.
Бенчмарки
| Бенчмарк | GPT-6 Astra | GPT-6.1 Sol | Muse Wonder Full | Opus 5.5 |
|---|---|---|---|---|
| Artificial Analysis Intelligence Index | 53score | 52score | 56score | 58score |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: Towards AI newsletter ↗