Лаборатория Nous Research представила Hermes Index — специализированный рейтинг, оценивающий возможности современных ИИ-агентов. В отличие от традиционных бенчмарков, фокусирующихся исключительно на точности ответов, Hermes Index интегрирует метрику стоимости выполнения задачи. Тестирование проводится внутри среды Hermes Agent, что позволяет получить реалистичную картину работы моделей в автономном режиме.
Методология и ключевые метрики
Рейтинг формируется на основе усредненного балла (Hermes Index) и средней стоимости одной задачи ($/task). Оценка производится по четырем основным наборам тестов:
- Hermes Bench: базовые агентные задачи.
- TerminalBench 4: работа с командной строкой и терминалом.
- TerminalBench Science: научные вычисления и анализ данных.
- SkillsBench: специализированные навыки (программирование, работа с API и т.д.).
Высокий индекс означает высокую эффективность, а низкая стоимость указывает на экономическую целесообразность использования модели для масштабных задач.
Топ-5 моделей по версии Hermes Index
Абсолютным лидером рейтинга стала модель Claude Opus 5.5 от Anthropic, показавшая лучший баланс между качеством и ценой. Модель OpenAI GPT 6 Astra заняла второе место, но при этом оказалась самой дорогой в обслуживании среди топ-5.
| Место | Модель | Производитель | Hermes Index | Стоимость за задачу |
|---|---|---|---|---|
| 01 | Claude Opus 5.5 | Anthropic | 63.31 | $4.99 |
| 02 | GPT 6 Astra | OpenAI | 56.25 | $11.61 |
| 03 | Claude Sonnet 5.5 | Anthropic | 53.14 | $2.82 |
| 04 | GPT 6 Sol | OpenAI | 44.10 | $2.23 |
| 05 | Grok 4.7 | xAI | 39.32 | $10.77 |
Детальный разбор производительности
Разделение моделей на «лидеров» и «бюджетных» кандидатов становится очевидным при взгляде на детализированные данные. Например, Claude Sonnet 5.5, заняв третье место по общему индексу, демонстрирует выдающуюся экономичность: средняя стоимость задачи составляет всего $2.82, а в сегменте TerminalBench 4 она стоит всего $0.25. Это делает её оптимальным выбором для задач, требующих высокой частоты запросов.
В то же время GPT 6 Astra от OpenAI, имея высокий индекс качества (56.25), требует в среднем $11.61 за задачу. В компоненте TerminalBench Science стоимость возрастает до $12.66, а в SkillsBench — до $29.84, что существенно ограничивает её применение в ресурсоемких сценариях.
Почему это важно
Запуск Hermes Index знаменует сдвиг в оценке ИИ от чистой «умности» к прагматичной эффективности. Для разработчиков и бизнеса критически важно понимать не только, насколько хорошо модель решает задачу, но и сколько это стоит при автоматизированном выполнении. Открытость весов и данных позволяет сообществу верифицировать результаты и выбирать модели, оптимальные под конкретные технические и финансовые требования.
Источник: Nousresearch ↗