AIKraft Agents
Главная/Блог/Аналитика/NVIDIA Vera Rubin NVL72: Лидер…
Аналитика9 мин чтения · 16 ноября 2026 г.

NVIDIA Vera Rubin NVL72: Лидер агентного инференса в MLPerf

Разбор результатов MLPerf Endpoints v1.0: почему Vera Rubin NVL72 превосходит GB300 в 10 раз по энергоэффективности и как оптимизации меняют рынок AI-агентов.

NVIDIA Vera Rubin NVL72: Лидер агентного инференса в MLPerf

Мир искусственного интеллекта переживает фундаментальный сдвиг. Мы переходим от эпохи простых генеративных моделей, которые отвечают на один вопрос, к эре агентного ИИ (Agentic AI). В отличие от статичных диалогов, агенты — это сложные системы, которые ведут многошаговые беседы, используют инструменты, выполняют код и принимают решения на основе накопленного контекста. Это создает беспрецедентную нагрузку на инфраструктуру: системы должны не только обрабатывать огромные объемы данных, но и делать это с минимальной задержкой, сохраняя при этом энергоэффективность.

Недавно опубликованные предварительные результаты MLPerf Endpoints v1.0 демонстрируют прорыв в этой области. Платформа NVIDIA Vera Rubin NVL72 показала впечатляющие цифры, превосходя своего предшественника NVIDIA GB300 NVL72 более чем в 10 раз по показателю пропускной способности на киловатт потребляемой энергии. Это не просто техническое улучшение; это изменение парадигмы того, как мы масштабируем AI-агентов в реальном мире. В этой статье мы подробно разберем, какие архитектуры и программные оптимизации позволили достичь таких результатов, и что это значит для разработчиков и бизнеса.

01Что такое MLPerf Endpoints и почему это важно для агентов?

Чтобы понять масштаб достижения, нужно сначала разобраться в методологии тестирования. MLPerf Endpoints v1.0 — это новый стандарт бенчмарков, разработанный для оценки баланса между пропускной способностью (capacity) и отзывчивостью (responsiveness) систем инференса. В отличие от старых тестов, которые измеряли только скорость генерации токенов, этот стандарт имитирует реальные сценарии использования:

  • Кодирование и разработка: Трассировки кода, где история диалога накапливается с каждым шагом.
  • Корпоративные рабочие процессы: Задачи, требующие повторного использования общих инструкций, определений инструментов и бизнес-правил.

Во время тестирования сгенерированные вызовы инструментов и намерения рабочих процессов проверяются против эталонных значений. Кроме того, отдельные оценки SWE-bench Verified оценивают способность модели решать задачи в целом. Это критически важно, потому что скорость бесполезна, если она достигается за счет снижения качества ответов. MLPerf Endpoints гарантирует, что ускорение инференса не компрометирует точность AI-агента.

02Сравнение поколений: Vera Rubin против GB300

Ключевое сравнение в отчете проводится между новой платформой NVIDIA Vera Rubin NVL72 (32 ускорителя) и текущим флагманом NVIDIA GB300 NVL72 (48 ускорителей). Тестирование проводилось на трех различных моделях: Kimi K3, DeepSeek-V4.1-Flash и Qwen3.6-35B-A3B.

Результаты демонстрируют впечатляющий разрыв в эффективности. При общем минимальном пороге сквозной интерактивности (E2E interactivity) в 50 токенов в секунду на пользователя, Vera Rubin NVL72 обеспечивает более чем в 10 раз большую пропускную способность на киловатт, чем GB300 NVL72. Это означает, что для выполнения той же работы при той же отзывчивости Vera Rubin потребляет значительно меньше энергии или, что более важно, позволяет обслуживать в 10 раз больше пользователей при том же бюджете на электроэнергию.

Рисунок 1: Рост длины контекста в ответах модели в наборе данных MLPerf для агентов
Рисунок 1: Рост длины контекста в ответах модели в наборе данных MLPerf для агентов

Давайте посмотрим на конкретные цифры по каждой модели, чтобы понять масштаб улучшения:

  • Kimi K3: Пропускная способность на кВт выше в 10 раз, а сквозная интерактивность — в 3 раза выше при сопоставимой конкурентности (1,024 запроса).
  • DeepSeek-V4.1-Flash: Пропускная способность на кВт выше в 9 раз, а интерактивность — в 5 раз выше. Примечательно, что для достижения этих результатов Vera Rubin использовала 24 GPU, в то время как GB300 требовал 4 GPU для базового теста, но при масштабировании до 1,024 запросов разрыв стал еще очевиднее.
  • Qwen3.6-35B-A3B: Пропускная способность на кВт выше в 5 раз, а интерактивность — в 3 раза выше.

Эти данные собраны из официальных отчетов MLPerf, опубликованных в ноябре 2026 года. Важно отметить, что результаты для Vera Rubin являются предварительными (provisional) и ожидают окончательной верификации ассоциацией MLCommons, однако уже сейчас они демонстрируют четкую тенденцию к превосходству новой архитектуры.

03Почему агенты создают уникальные проблемы для инференса?

Почему старые оптимизации больше не работают так эффективно? Проблема заключается в природе агентных нагрузок. В традиционных чат-ботах контекст часто ограничен или обнуляется. В агентных сценариях контекст растет экспоненциально. Модель должна помнить историю диалога, состояние инструментов, результаты предыдущих вызовов API и текущую цель задачи.

Рисунок 2: Сравнение пропускной способности на кВт и сквозной интерактивности для Kimi K3
Рисунок 2: Сравнение пропускной способности на кВт и сквозной интерактивности для Kimi K3

На рисунке 1 (см. источник) показано, как длина контекста увеличивается по мере ответа модели. Для систем инференса это означает две вещи:

  1. Рост потребления памяти: Хранение и обработка длинных историй требует огромных объемов HBM (High Bandwidth Memory).
  2. Редундантные вычисления: Многие части контекста (например, системные промпты, определения инструментов) остаются неизменными от запроса к запросу. Если система не умеет их кэшировать, она тратит вычислительную мощность на повторную обработку одного и того же текста.

Кроме того, агенты генерируют смесь рассуждений, вызовов инструментов и ответов. Это создает неравномерную нагрузку: этапы «prefill» (обработка входящего промпта) и «decode» (генерация токенов) требуют разных ресурсов и имеют разные паттерны доступа к памяти. Традиционные системы, пытающиеся оптимизировать оба этапа одновременно, часто сталкиваются с конфликтами ресурсов.

04Аппаратные преимущества Vera Rubin: HBM4 и NVLink 6-го поколения

Фундамент производительности Vera Rubin заложен в аппаратной части. NVIDIA Rubin GPU сочетает в себе три ключевые технологии, специально адаптированные для требований агентного инференса:

  1. HBM4 (High Bandwidth Memory 4): Это революция в скорости доступа к данным. HBM4 обеспечивает пропускную способность, необходимую для мгновенной загрузки весов моделей и состояний диалога. Для агентов, которые постоянно обращаются к длинной истории контекста, скорость памяти становится таким же критичным ограничением, как и вычислительная мощность GPU.
  2. Tensor Cores 6-го поколения: Ускоренные матричные операции, которые лежат в основе работы трансформеров. Они оптимизированы для смешанной точности, позволяя выполнять вычисления быстрее без потери качества.
  3. NVLink 6-го поколения: Связь между GPU. В конфигурации NVL72 (72 GPU в одном узле) NVLink позволяет всем ускорителям работать как единый гигантский GPU с минимальной задержкой. Это критично для распределения нагрузки между агентами.

Однако «железо» само по себе не дает прироста в 10 раз. Ключевую роль играет программный стек, который умеет использовать эти возможности на 100%.

💡
Совет для инженеров. При проектировании систем для агентов не фокусируйтесь только на мощности GPU. Инвестируйте в оптимизацию памяти (HBM) и межсоединений (NVLink/InfiniBand). Для агентов задержка доступа к контексту часто важнее, чем скорость вычисления матриц.

05Программные оптимизации: как софт раскрывает потенциал железа

Настоящая магия происходит в слое программного обеспечения. NVIDIA и партнеры (DeepSeek, Qwen, Kimi) внедрили ряд специфических оптимизаций, которые радикально снижают избыточные вычисления. Давайте разберем их подробнее.

1. Контекстно-ориентированное обслуживание (Context-Aware Serving)

Это, пожалуй, самый важный сдвиг в парадигме. Вместо того чтобы обрабатывать каждый запрос с нуля, система использует три техники:

  • Prefix Caching (Кэширование префиксов): Если несколько пользователей отправляют запросы с одинаковым системным промптом или началом диалога, система вычисляет эти части один раз и кэширует их. Следующие запросы используют кэш, экономя до 80% вычислений на этапе prefill.
  • State Reuse (Повторное использование состояния): Сохранение состояния инструментов и бизнес-правил в памяти, чтобы не пересчитывать их для каждого нового шага агента.
  • NVIDIA Dynamo Routing: Умный маршрутизатор, который распределяет запросы по рабочим узлам (workers) на основе их текущей загрузки и доступного кэша. Это предотвращает «бутылочные горлышки» и балансирует нагрузку.
Рисунок 3: Схема контекстно-ориентированного обслуживания и оптимизации GPU
Рисунок 3: Схема контекстно-ориентированного обслуживания и оптимизации GPU

2. Разделение Prefill и Decode (Disaggregated Serving)

Как упоминалось выше, обработка входящего промпта (prefill) и генерация токенов (decode) имеют разные характеристики. Prefill требует высокой пропускной способности памяти, а decode — высокой вычислительной мощности. В старых системах они конкурировали за ресурсы одного GPU. В новой архитектуре они разделены. Отдельные GPU или группы GPU занимаются только prefill, другие — только decode. Это устраняет конфликты синхронизации и позволяет оптимизировать каждый этап независимо.

3. Специфичные для модели оптимизации (Model-Specific Kernels)

Разные архитектуры моделей требуют разных подходов. NVIDIA не использует универсальное решение, а адаптирует ядра под конкретную модель:

  • DeepSeek (MegaMoE Kernel): Для моделей с архитектурой Mixture of Experts (MoE) NVIDIA создало специализированное ядро, которое использует локальность данных в GPU Vera Rubin и инструкции матричного умножения. Это снижает перемещение данных между чипами.
  • Qwen (Multi-Token Prediction): Qwen использует предсказание нескольких токенов одновременно, а затем проверяет их с помощью Tensor Cores. Это сокращает количество последовательных шагов декодирования, ускоряя генерацию.
  • Kimi K3: Комбинирует disaggregated serving с изменениями в prefill, которые минимизируют задержки синхронизации GPU.
⚠️ Важно.
Не путайте оптимизации. Prefill-оптимизации (кэширование) дают наибольший эффект при высокой конкурентности и повторяющемся контексте. Decode-оптимизации (спекулятивная генерация) важны для скорости ответа на уникальные запросы. Для агентов критично первое, так как контекст часто повторяется.

06Графики эффективности: что показывают кривые?

На рисунке 2 (см. источник) представлены графики, показывающие компромисс между пропускной способностью на кВт и сквозной интерактивностью. Эти графики построены как ступенчатые функции, что означает, что они показывают реальные измеренные точки, а не интерполированные оценки. Это делает сравнение максимально честным.

Кривые демонстрируют, что при любом заданном требовании к отзывчивости (например, 50 токенов/сек), Vera Rubin NVL72 обеспечивает значительно более высокую пропускную способность, чем GB300. При низкой конкурентности (мало пользователей) разница в скорости ответа (latency) также очевидна, что критично для задач, чувствительных к задержкам, таких как интерактивные агенты-помощники.

Таблица 1: Соотношение пропускной способности и интерактивности Vera Rubin против GB300
Таблица 1: Соотношение пропускной способности и интерактивности Vera Rubin против GB300

07Что это значит на практике?

Цифры в бенчмарках — это хорошо, но как это влияет на реальный мир? Вот несколько ключевых выводов для разработчиков, дата-центров и бизнеса:

  1. Экономическая эффективность (TCO): Превосходство в 10 раз по пропускной способности на кВт означает радикальное снижение операционных расходов. Дата-центры могут разместить больше AI-агентов в тех же стойках, потребляя ту же энергию. Это решает одну из главных проблем масштабирования ИИ — дефицит энергии и охлаждения.
  2. Масштабируемость агентов: Компании могут запускать тысячи одновременных сессий с AI-агентами без деградации качества ответа. Это открывает возможности для массового внедрения агентов в поддержку клиентов, разработку кода и анализ данных.
  3. Важность программного стека: Аппаратные улучшения сами по себе не дают такого эффекта. Ключ к успеху — в глубокой интеграции железа и софта. Разработчикам стоит обратить внимание на инструменты NVIDIA, такие как TensorRT-LLM и Dynamo, которые реализуют эти оптимизации.
  4. Будущее архитектуры: Тренд на disaggregated serving и context-aware serving станет стандартом. Старые монолитные подходы к инференсу устаревают. Будущее за системами, которые динамически распределяют ресурсы между prefill и decode, и умно кэшируют контекст.
Таблица 2: Обзор программных оптимизаций для улучшения инференса
Таблица 2: Обзор программных оптимизаций для улучшения инференса

08Заключение

Результаты MLPerf Endpoints v1.0 для NVIDIA Vera Rubin NVL72 — это не просто еще один рекорд. Это демонстрация того, что индустрия нашла путь к эффективному масштабированию агентного ИИ. Сочетание HBM4, NVLink 6-го поколения и интеллектуального программного стека позволяет создавать системы, которые не только быстры, но и экономичны.

Для разработчиков это сигнал к действию: пора оптимизировать свои пайплайны инференса, внедряя кэширование префиксов и разделяя этапы обработки. Для бизнеса — это возможность внедрять AI-агентов в масштабах, которые ранее были невозможны из-за ограничений по энергии и стоимости. Эра эффективного агентного ИИ началась, и Vera Rubin NVL72 задает новую планку.

Мы рекомендуем следить за окончательной верификацией результатов MLCommons и изучать сопутствующие материалы по обучению и инференсу на сайте NVIDIA. Индустрия движется быстро, и те, кто освоит эти новые паттерны оптимизации, получат значительное преимущество.

Источник: NVIDIA Developer ↗