В эпоху, когда искусственный интеллект и большие языковые модели (LLM) требуют колоссальных вычислительных мощностей, инфраструктура становится таким же критическим активом, как и сами алгоритмы. NVIDIA, будучи лидером в области GPU-вычислений, не могла оставаться в стороне от стандартов контейнеризации. Именно поэтому компания представила два новых open-source проекта — NVIDIA Kubernetes Engine (NVKE) и NVIDIA Kubernetes Recipes (NVKR). Эти инструменты предназначены для построения и эксплуатации управляемых сервисов Kubernetes на базе GPU-инфраструктуры, что позволяет компаниям, предоставляющим AI-мощности (так называемым "AI Factories"), предлагать клиентам знакомый интерфейс Kubernetes, не жертвуя производительностью и надежностью.
В этой статье мы подробно разберем, как работают NVKE и NVKR, какова их архитектура, как они взаимодействуют с оборудованием и сетью, а также как развернуть собственную управляющую плоскость. Мы рассмотрим процесс от сборки образа узла до создания рабочего кластера для клиента, опираясь на официальную документацию NVIDIA и технические детали публичной превью-версии. Это не просто новостной релиз, а глубокое погружение в то, как NVIDIA решает проблему управления сложной GPU-инфраструктурой через призму Kubernetes.
01Контекст: Почему NVIDIA создает свои инструменты для Kubernetes?
Многие клиенты NVIDIA, особенно те, кто строит "AI Factories" (центры обработки данных, специализирующиеся на предоставлении GPU-мощностей как услуги), сталкиваются с серьезной дилеммой. С одной стороны, их клиенты хотят потреблять GPU-мощности через привычные API Kubernetes, используя знакомые инструменты и экосистему. С другой стороны, сама фабрика должна управлять этими кластерами, обеспечивая изоляцию арендаторов, обновления, восстановление после сбоев и соблюдение SLA.
Проблема усугубляется необходимостью квалификации аппаратного обеспечения GPU, сетей, драйверов и программного обеспечения runtime across различных поколений GPU и версий Kubernetes. Стандартные решения для управления Kubernetes часто не учитывают специфику GPU-инфраструктуры на уровне операционной системы и загрузчика. Именно здесь вступают в игру NVKE и NVKR. Они делят работу на две логические части: NVKR отвечает за воспроизводимую сборку программного обеспечения, а NVKE — за управление жизненным циклом кластеров.
02Архитектура решения: Как NVKE и NVKR работают вместе
Оба проекта являются компонентами платформы NVIDIA DSX AI Factory Platform. Давайте разберем их роли подробнее.
NVKR: Строительный блок
NVIDIA Kubernetes Recipes (NVKR) — это система сборки. Она создает воспроизводимые образы узлов, контейнерные образы и пакеты из источников с фиксированными версиями (version-pinned sources). NVKR записывает все входные данные сборки, что позволяет командам точно знать, какое программное обеспечение включено в каждый образ, и при необходимости пересобрать его позже. Это критически важно для аудита и безопасности в корпоративной среде.
NVKR определяет конфигурацию программного обеспечения Kubernetes, которую NVIDIA валидирует для NVKE. Он предоставляет воспроизводимый конвейер, превращающий эту конфигурацию в развертываемые артефакты. Управление кластером и каждый пул узлов могут использовать разные образы, например, один образ для CPU-архитектуры и другой для GPU-поколения H100.
NVKE: Управляющая плоскость
NVIDIA Kubernetes Engine (NVKE) предоставляет программное обеспечение для запуска управляемого сервиса Kubernetes. Оно устанавливается на инфраструктуру фабрики и предоставляет REST API для предоставления и управления кластерами. NVKE является Certified Kubernetes Installer, что означает, что он прошел конформное тестирование.
Управляющая плоскость NVKE развертывается с помощью инструмента nvkectl. Этот инструмент запускает временный "seed"-кластер на хосте инициализации, запрашивает серверы у NVIDIA Infra Controller (NICo) через провайдер инфраструктуры Cluster API (CAPNICo) и формирует управляющий кластер. Этот управляющий кластер затем создает рабочие кластеры для клиентов, каждый из которых имеет свою собственную плоскость управления, etcd и пулы узлов.
03Детали развертывания: От голых серверов до кластера клиента
Процесс создания клиентского кластера с нуля — это многоступенчатый процесс, требующий координации между NVKR, NVKE и NICo. Рассмотрим этот процесс шаг за шагом, опираясь на технические требования и команды из документации.
1. Требования к инфраструктуре
Для начала работы вам потребуется следующая инфраструктура:
- Несколько CPU-серверов для управляющего кластера (management cluster).
- Отдельный Linux-хост инициализации (bootstrap host) в сети сайта с установленными
containerd,nerdctl,kind,Helmиkubectl. - Несколько CPU-серверов для плоскости управления рабочим кластером (control plane).
- Пул GPU-серверов для рабочих узлов (worker nodes).
- Установленный NICo с зарегистрированной емкостью.
- Linux-хост сборки с поддержкой Docker и KVM.
- HTTP-сервер для образов узлов, реестр контейнеров для образа контроллера и доступ в интернет для загрузки открытых образов и Helm-чартов.
2. Сборка образа узла с помощью NVKR
Первым шагом является создание образа узла. Команды клонирую
Источник: NVIDIA Developer ↗