Новая парадигма: от инференса к агентам
Традиционные бенчмарки больше не отражают реальность дата-центров. С появлением агентов ИИ (Agentic AI) нагрузка на CPU смещается с самого инференса (который делает GPU) на управление контекстом, вызовы инструментов, работу с базами данных и координацию задач. Arm, совместно с Fujitsu, Meta и OpenAI, разработала новую методологию оценки, где ключевым показателем становится не просто скорость, а способность системы поддерживать множество агентов без «узких мест» и простоя ускорителей.
Сравнение на уровне чипа: Arm лидирует в большинстве тестов
Для тестов использовались конфигурации 128-ядерного и 136-ядерного процессоров Arm AGI (с DDR5-7200/8000) против 128-ядерного AMD EPYC 9755 (с DDR5-6400). На уровне одного чипа Arm показал преимущество в 20% в среднем, выиграв 5 из 7 тестов. Особенно заметен разрыв в задачах обучения и планирования.
| Нагрузка (Workload) | Что измеряет | Результат на чип (Arm vs AMD) | Результат на стойку (модель) |
|---|---|---|---|
| MySQL | Транзакции БД | 0.88x (AMD лучше) | 1.43x |
| NGINX | Веб/API запросы | 1.20x | 1.95x |
| Terminal-Bench 2 | 72 типа задач агентов | 1.09x | 1.93x |
| SWE-bench replay | Рабочий процесс инженера | 1.13x | 2.00x |
| Milvus | Векторный поиск | 0.95x (AMD лучше) | 1.54x |
| vLLM CPU overhead | Накладные расходы CPU | 1.16x | 1.88x |
| fastText | Обучение представлений слов | 1.97x | 3.19x |
| Среднее арифм. | Общий итог | 1.20x | 1.99x |
Почему на стойку Arm в 2 раза мощнее?
Главный инсайт — энергоэффективность. Модель учитывает лимиты питания стойки (24 кВт). Конфигурация AMD требует ~1700 Вт на сервер, тогда как серверы Arm — 950–1050 Вт. Это позволяет разместить в одной стойке 23 сервера Arm против 13 серверов AMD. Даже если на чипе преимущество невелико (например, 1.13x в SWE-bench), суммарная мощность стойки Arm за счет плотности размещения дает двукратный выигрыш (1.13 * 23/13 ≈ 2.00x).
Верификация и нюансы
Независимая компания Signal65 проверила логи, скрипты и расчеты Arm, воспроизведя результаты с погрешностью менее 0.5%. Однако важно отметить: тесты проводились в смоделированных условиях, а не на полностью заполненных физических стойках. Также AMD получила в модели больше памяти (2 ТБ против 1 ТБ у Arm), что частично компенсирует разницу в энергопотреблении. Если пересчитать память на физическое ядро, преимущество Arm на стойку снизится до 1.81x, но все равно останется значительным.
Источник: Tom's Hardware ↗