Результаты MLPerf Endpoints v1.0: новый стандарт энергоэффективности
16 ноября 2026 года NVIDIA опубликовала предварительные результаты тестирования архитектуры Vera Rubin NVL72 в бенчмарке MLPerf Endpoints v1.0. Тестирование фокусировалось на «агентных» (agentic) нагрузках — сценариях, где ИИ-агенты ведут многооборотные диалоги, используют инструменты и генерируют код. Ключевой вывод: Vera Rubin NVL72 обеспечивает более чем 10-кратное увеличение пропускной способности на киловатт (throughput per kilowatt) по сравнению с предыдущим поколением GB300 NVL72 при сохранении минимальной интерактивности 50 токенов в секунду на пользователя.
Сравнение производительности: Vera Rubin против GB300
Тестирование проводилось на трех моделях: Kimi K3, DeepSeek-V4.1-Flash и Qwen3.6-35B-A3B. Ниже приведены соотношения производительности Vera Rubin NVL72 к GB300 NVL72 по ключевым метрикам.
| Модель | Пропускная способность на кВт (отношение) | Интерактивность E2E (отношение) |
|---|---|---|
| Kimi K3 | 10x | 3x |
| DeepSeek-V4.1-Flash | 9x | 5x |
| Qwen3.6-35B-A3B | 5x | 3x |
Для модели DeepSeek-V4.1-Flash при нагрузке 1,408 запросов Vera Rubin (24 GPU) выдала 272,711.7 токенов/сек при потреблении 75.67 кВт, тогда как GB300 (4 GPU) при аналогичной эффективности выдала лишь 3,054.0 токенов/сек при 7.50 кВт. Это подчеркивает масштабный скачок в эффективности масштабирования.
Технологические драйверы: HBM4 и NVLink 6-го поколения
Результаты достигнуты благодаря комбинации аппаратных и программных оптимизаций. Аппаратная часть Vera Rubin включает память HBM4, Tensor Cores нового поколения и NVLink 6-го поколения, что критично для передачи больших объемов контекста. Программный стек NVIDIA Dynamo использует:
- Prefix Caching и State Reuse: позволяют переиспользовать вычисления для общих частей запросов (например, системных промптов или определений инструментов), снижая избыточные вычисления.
- Model-specific optimizations: для DeepSeek внедрен MegaMoE kernel, а для Qwen — много-токенное предсказание с верификацией через Tensor Cores, что сокращает количество последовательных шагов декодирования.
Значение для индустрии
Рост энергоэффективности на 10x означает, что дата-центры смогут запускать значительно больше ИИ-агентов одновременно в рамках существующих лимитов по питанию. При этом сохраняется качество ответов: тесты SWE-bench Verified подтвердили, что ускорение обслуживания не приводит к деградации способности моделей решать сложные задачи. Результаты Vera Rubin являются предварительными и ожидают окончательной верификации MLCommons Association.
Источник: NVIDIA dev blog ↗
