Суть технологии: от холодного старта к мгновенному восстановлению
Команда NVIDIA представила NVIDIA Snapshot — компонент платформы DSX AI Factory Platform, предназначенный для создания контрольных точек (checkpoints) и восстановления состояний GPU-рабочих нагрузок в Kubernetes. Главная проблема, которую решает Snapshot, — это время «холодного старта» (cold start). При обычном запуске LLM-инференса требуется загрузить веса модели, скомпилировать ядра (например, через torch.compile), захватить CUDA-графики и выделить память. Этот процесс занимает от нескольких минут до десятков минут.
SnapShot перехватывает этот процесс: он фиксирует полностью инициализированное состояние CPU и GPU памяти в виде портативного артефакта. При восстановлении новый под (Pod) загружается из этого артефакта, минуя этапы загрузки весов и компиляции. Рабочая нагрузка продолжает работу с того места, где была остановлена, что критически важно для быстрого масштабирования при пиковых нагрузках или восстановления после сбоев.
Ключевые метрики и бенчмарки
Тестирование проводилось на базе GPU NVIDIA B200 с драйвером 615.71.09 и хранилищем VAST NFS. В тестах участвовали три основных движка инференса: vLLM, SGLang и NVIDIA TensorRT LLM. Модели варьировались от 600 млн параметров до гигантских MoE-моделей с чекпоинтами до 1 ТБ на 8 GPU.
Результаты демонстрируют радикальное сокращение времени простоя:
| Параметр | Холодный старт (Cold Start) | Восстановление через Snapshot | Ускорение |
|---|---|---|---|
| Малые модели (до 10B) | ~2–5 минут | 3.6 – 10 секунд | ~20–30x |
| Средние модели (70B) | ~5–10 минут | 10 – 20 секунд | ~20–30x |
| MoE модели (до 1 TB, 8 GPU) | 6 – 19 минут | 18 – 42.7 секунд | 8–36x |
| Время создания чекпоинта | — | 15 сек – 5.5 мин (одноразово) | — |
Особое внимание стоит уделить структуре времени восстановления. Для крупных моделей доминирующим фактором является копирование состояния GPU в память (18–29 секунд), тогда как восстановление процессов CPU через CRIU занимает всего 4.2–10.8 секунд. Важно отметить, что время создания чекпоинта плюс время первого восстановления всегда меньше времени одного холодного старта, что делает технологию экономически выгодной уже при первом использовании.
Техническая реализация и совместимость
SnapShot работает через кастомные ресурсы Kubernetes. Для создания чекпоинта существующего пода используется ресурс PodSnapshot, а для автоматического создания чекпоинта при запуске нового пода — SnapshotJob. Восстановление осуществляется путем добавления аннотации nvidia.com/restore-from к новому подду.
Система поддерживает сложные сценарии параллелизма:
- Tensor Parallelism (TP): Разделение модели по тензорам.
- Data and Expert Parallelism (DEP): Для моделей с большим количеством экспертов.
- Decode Context Parallelism (DCP): Оптимизация для фазы декодирования.
Поддерживаются интеграции с популярными движками: vLLM 0.31.0, SGLang 0.5.21 и NVIDIA TensorRT LLM 1.3.0. Код проекта открыт и доступен в репозитории NVIDIA.
Практическое применение
Партнеры NVIDIA уже оценили технологию. Компания Crusoe сократила время готовности подов с GLM-5.3 на базе NVIDIA HGX B300 с 8 минут до 31 секунды. Платформа Saturn Cloud снизила время запуска vLLM с 2–8.5 минут до 6–34 секунд. Это позволяет облачным провайдерам и enterprise-компаниям эффективнее использовать GPU-кластеры, мгновенно реагируя на всплески трафика без простоя ресурсов.
Источник: NVIDIA dev blog ↗