Проблема «узкого горлышка» HBM
В современных AI-фабриках память HBM (High Bandwidth Memory) остается самым дорогим и востребованным ресурсом. Ключевой вопрос сместился с «сколько памяти у GPU» на «сколько полезной работы выполняет каждый байт». Архитектура NVIDIA Vera Rubin решает эту задачу через ко-дизайн, объединяющий GPU, CPU, сеть и хранилище. Результат: при сохранении объема памяти в 288 ГБ на чип, пропускная способность выросла до 19.2 ТБ/с, а эффективность на ватт увеличилась в 30 раз по сравнению с предшественником GB300 NVL72.
5 ключевых рычагов оптимизации
NVIDIA выделяет пять технологических решений, которые максимизируют ценность каждого байта данных:
- NVFP4 (4-битная точность): Формат с 4-битными элементами (E2M1) и двухуровневым масштабированием. Сжимает модель в 3.5 раза по сравнению с FP16 и в 1.8 раза по сравнению с FP8, не теряя точности. Это освобождает HBM для KV-кэша и увеличения батчей.
- Wide Expert Parallelism (Wide-EP): Распределение экспертов MoE-моделей на 8+ GPU. В TensorRT-LLM это позволяет снизить нагрузку на весовые данные на каждом чипе, повышая арифметическую интенсивность и оставляя больше памяти под кэш.
- NVIDIA Dynamo: Распределенный слой обслуживания, который рассматривает KV-кэш как общий ресурс пула. Использует KV-aware routing и NIXL для тирования блоков между GPU, CPU и хранилищем, предотвращая повторные вычисления префиксов.
- NVIDIA Vera CPU: 88 ядер Olympus с производительностью на поток в 1.8 раза выше. Подключен к Rubin через NVLink-C2C с пропускной способностью 1.8 ТБ/с, что позволяет выгружать неактивный KV-кэш во время вызова инструментов.
- NVIDIA CMX: Уровень хранения G3.5 на базе BlueField-4 STX и Spectrum-X. Позволяет делить и переиспользовать KV-кэш между узлами в рамках подсети.
Сравнительные метрики производительности
Внедрение этих технологий демонстрирует значительный прирост эффективности по сравнению с предыдущими поколениями и базовыми конфигурациями:
| Метрика / Технология | Результат / Эффект | Сравнение с базой |
|---|---|---|
| Пропускная способность (Throughput) на ватт | До 30x рост | Вера Рубин NVL72 против GB300 NVL72 |
| Размер модели (NVFP4) | Сжатие в 3.5x | Против FP16 |
| Размер модели (NVFP4) | Сжатие в 1.8x | Против FP8 |
| Пропускная способность (NVFP4) | Рост в 4x | Против FP8 (DeepSeek R1, GB300) |
| Размер KV-кэша (NVFP4 KV) | Сокращение до 50% | Против FP8 (в 2x больше контекста) |
| Пропускная способность (Wide-EP) | Рост в 1.8x | EP32 против EP8 (100 токенов/с/пользователь) |
| Пропускная способность (Wide-EP) | Рост в 10x | GB300 NVL72 против H200 NVL8 |
Почему это важно для индустрии
Переход к Agentic AI (агентному искусственному интеллекту) требует обработки длинных контекстов и частых вызовов инструментов (tool calls). Традиционные подходы приводят к «вытеснению» кэша и повторным вычислениям, что убивает производительность. Vera Rubin решает эту проблему на аппаратном и программном уровнях, делая память «умной» и распределенной. Это позволяет запускать более сложные модели с меньшими затратами энергии и оборудования, что критично для масштабирования AI-инфраструктуры в ближайшие годы.
Источник: NVIDIA dev blog ↗