Проблема: Память становится узким местом AI-фабрик
Рост моделей с триллионами параметров и развитие агентных приложений (Agentic AI) создают колоссальное давление на GPU-память. KV-кэш, необходимый для удержания контекста запросов (иногда до 3 млн токенов), и данные RAG конкурируют за ограниченное пространство HBM. Простое увеличение объема памяти не решает проблему из-за «стены памяти» (memory wall): пропускная способность HBM исчерпывается быстрее, чем вычислительные мощности могут использовать данные.
Решение: Full-Stack Codesign и NVFP4
NVIDIA применяет подход полного стекового со-проектирования, оптимизируя взаимодействие GPU, CPU, сети и ПО. Ключевым элементом является формат NVFP4, который значительно сокращает объем весов моделей по сравнению с FP8. Поддержка NVFP4 уже внедрена в такие модели, как FLUX.2, Inkling, Beam 1.0 и Nemotron 3.5 Super VL. Это позволяет распределять веса модели между 72 GPU в системе NVL72, освобождая HBM для активного контекста.
Управление данными: От HBM к CMX
Для оптимизации использования памяти NVIDIA внедряет иерархию хранения:
- Сжатие KV-кэша: Применение NVFP4 к кэшу снижает его footprint.
- Offload в CMX: Неактивный контекст перемещается в NVIDIA Dynamo и CMX (Context Memory eXtension) — общий для серверов слой хранения с низкой стоимостью бита, в отличие от локальных SSD.
- RAG вне HBM: Индексы встраиваний (embeddings) хранятся на CPU/SSD, в HBM загружаются только необходимые фрагменты, обрабатываемые моделями Nemotron Retriever.
Результаты: Эффективность на доллар
Главный метрикой для операторов AI-фабрик становится количество токенов в секунду на доллар затрат. Благодаря оптимизации стека, прирост полезной работы значительно превышает прирост объема памяти.
| Платформа | Рост HBM на GPU | Рост пропускной способности (tokens/sec/$) | Сравнительная база |
|---|---|---|---|
| Blackwell Ultra (GB300 NVL72) | ~2x (относительно H200) | до 10x | vs NVIDIA H200 |
| Vera Rubin (NVL72) | ~3% | до 30x | vs GB300 NVL72 |
Таким образом, переход к архитектуре Vera Rubin позволяет увеличить эффективность агентов в 30 раз практически без увеличения объема дорогой HBM, что критически важно для масштабируемости AI-инфраструктуры в условиях дефицита памяти.
Источник: NVIDIA Blog ↗