В мире искусственного интеллекта, где каждый день появляются новые модели и фреймворки, инфраструктура часто отстает от скорости разработки алгоритмов. Для компаний, строящих собственные «AI-фабрики» (AI Factories), ключевой проблемой становится не просто наличие мощных GPU, а эффективное управление ими. Традиционные облачные провайдеры предлагают готовые решения, но они дороги и не всегда гибки. На этом фоне NVIDIA сделала шаг, который может изменить правила игры: компания выпустила два открытых проекта — NVIDIA Kubernetes Engine (NVKE) и NVIDIA Kubernetes Recipes (NVKR). Эти инструменты позиционируются как основа для развертывания управляемого Kubernetes-сервиса на собственной bare-metal инфраструктуре с GPU.
Это не просто еще один дистрибутив Kubernetes. NVKE и NVKR, анонсированные как часть платформы NVIDIA DSX AI Factory Platform, предлагают принципиально иной подход: разделение плоскости управления (control plane) и плоскости сборки артефактов. Оба проекта распространяются под лицензией Apache 2.0 и находятся в стадии публичного предварительного просмотра (public preview). Но что скрывается за этим заявлением? Насколько они готовы к промышленному использованию и какие риски несут для администраторов?
01Что такое NVIDIA Kubernetes Engine (NVKE)?
NVKE — это программное обеспечение с открытым исходным кодом, которое позволяет организациям запускать управляемый сервис Kubernetes на собственной инфраструктуре с GPU. Важно понимать, что NVIDIA не называет это «дистрибутом» в традиционном смысле. Скорее, это «фабрика самохостинга» (self-hosting factory) для кластеров Kubernetes. NVKE предоставляет REST API и контроллеры на уровне управляющего кластера (management cluster).
Для конечного пользователя процесс выглядит привычно: клиенты получают стандартные кластеры Kubernetes и взаимодействуют с ними через привычный инструмент kubectl. Однако управление этими кластерами происходит через специализированный API NVKE или командную строку nvkectl. Архитектурно NVKE построен на upstream-версиях Kubernetes, утилите kubeadm и фреймворке Cluster API. Код написан на языке Go, что обеспечивает высокую производительность и типичную для экосистемы Kubernetes надежность. Примечательно, что NVKE не имеет运行时 (runtime) зависимости от NVKR, что позволяет использовать их независимо, хотя в связке они раскрывают весь потенциал.
02Роль NVIDIA Kubernetes Recipes (NVKR)
Если NVKE — это «мозг» управления, то NVKR — это «кухня», где готовится все необходимое для работы кластера. NVKR представляет собой систему сборки с декларативными определениями (Definitions). Ее главная задача — генерация исполняемых файлов, контейнерных образов, Helm-чартов и образов узлов (node images) для архитектур amd64 и arm64.
Концепция «рецептов» (Recipes) здесь фундаментальна. Рецепты определяют валидированные комбинации версий программного обеспечения и поколений GPU. Это критически важно в AI-инфраструктуре, где совместимость драйверов NVIDIA, CUDA, контейнерных ранцев и версий Kubernetes часто становится источником головной боли. NVKR гарантирует, что собранная связка будет работать корректно.
Кроме того, NVKR внедряет практики DevSecOps. Хостинговые рабочие процессы прикрепляют цифровые подписи, списки компонентов программного обеспечения (SBOM) и данные о происхождении (provenance) к ссылкам на OCI-образы, закрепленным по дайджесту. Это обеспечивает прозрачность и безопасность цепочки поставок. NVKR также способен собирать артефакты для других систем управления Kubernetes, что делает его универсальным инструментом в арсенале DevOps-инженера.
03Архитектура и жизненный цикл кластера
Процесс развертывания NVKE описывается в технической документации NVIDIA как пятиэтапный процесс. Понимание этих этапов необходимо для оценки требований к инфраструктуре и сложности внедрения.

- Bootstrap (Инициализация): Команда
nvkectl bootstrap siteзапускает временный одноузловой кластер типаkindна хосте инициализации. Это временная среда, необходимая для настройки. - Управляющий кластер (Management Cluster): NVKE запрашивает 3 сервера у NVIDIA Infra Controller (NICo). NICo загружает их с использованием образа узла. После завершения настройки временный кластер
kindудаляется. - Предоставление машин (Machine Provisioning): NICo берет на себя управление жизненным циклом bare-metal серверов. Провайдер Cluster API под названием
CAPNICoсвязывает NICo с NVKE, позволяя NVKE управлять физическими ресурсами. - Наборы релизов (Release Sets): Операторы публикуют образы машин, релизы кластеров и релизы пулов узлов. Клиенты выбирают нужный релиз по имени, что упрощает управление версиями.
- Кластеры рабочей нагрузки (Workload Clusters): Каждый кластер клиента имеет собственную плоскость управления, хранилище etcd и пулы узлов. NVKE автоматически устанавливает CNI OVN-Kubernetes и кэш DNS NodeLocal.
Особое внимание уделено безопасности узлов. Узел должен предоставить аттестованную идентичность SPIFFE, прежде чем получит учетные данные для присоединения к кластеру. Согласно документации, для этой цели используется SPIRE с аппаратным модулем TPM. Также доступна шифрование хранилища etcd на уровне каждого кластера. Для мониторинга используется Helm-чарт на базе OpenTelemetry, экспортирующий логи, метрики и трассировки по протоколу OTLP.
Внутри кластеров рабочей нагрузки интегрированы три дополнительных проекта, образующих полный стек для AI-нагрузок:
- AI Cluster Runtime (AICR): Отвечает за рантайм GPU.
- NodeWright: Управляет пакетами на уровне узлов.
- NVSentinel: Автоматизирует обнаружение и исправление неисправностей (break-fix automation).
04Сравнение с Gardener и Kamaji
Чтобы понять место NVKE на рынке, полезно сравнить его с другими решениями для управления Kubernetes. Основные конкуренты в нише управляемых плоскостей управления — это Gardener (от SAP) и Kamaji (от Clastix).
| Характеристика | NVKE + NVKR (NVIDIA) | Gardener (SAP) | Kamaji (Clastix) |
|---|---|---|---|
| Суть | Управляющая плоскость + сборщик артефактов | Kubernetes как сервис | Менеджер хостинговой плоскости управления |
| Модель плоскости управления | Выделенная для каждого кластера: своя плоскость управления, etcd, пулы узлов | Запускается как поды в seed-кластерах | Запускается как поды; возможно общее хранилище Datastore |
| Целевая инфраструктура | NVIDIA GPU bare metal через NICo | AWS, Azure, GCP, OpenStack, Alicloud (таблица соответствия); расширяемо | Работает вместе с провайдерами Cluster API |
| Лицензия | Apache 2.0 | Apache 2.0 | Apache 2.0 |
| Соответствие (Conformance) | Certified Kubernetes AI Platform и Installer; протестировано на Kubernetes 1.36 | Сертифицировано до v1.35 | Описано как совместимое с CNCF |
| Идентификация узлов | Аттестация SPIFFE/SPIRE с TPM | Не раскрыто | Не раскрыто |
| Подписанная сборка | Да (NVKR: подписи, SBOM, происхождение) | Не раскрыто | Не раскрыто |
| Зрелость | Публичный предварительный просмотр, не для продакшена | Самостоятельно описывается как готовый к продакшену | Не раскрыто |
Как видно из таблицы, NVKE выделяется фокусом на bare-metal GPU-инфраструктуру и встроенной безопасностью сборки (SBOM, подписи). Gardener и Kamaji более универсальны в плане облачных провайдеров, но не предлагают такой глубокой интеграции с аппаратным обеспечением NVIDIA и строгих гарантий происхождения артефактов «из коробки».
05Кто уже использует NVKE и NVKR?
Интерес к новым инструментам со стороны индустрии уже проявился. Среди партнеров NVIDIA, интегрирующих эти проекты в свои AI-фабрики, числятся Firmus и SK Telecom. Эти компании работают над созданием инфраструктуры для корпоративных клиентов.

Кроме того, такие игроки рынка, как Mirantis, Rafay, Spectro Cloud, OpenNebula Systems и vCluster, добавляют компоненты NVKE в свои предложения по управляемому Kubernetes. Компания Netris уже начала поддержку NVKE для своей автоматизации сетей. Это свидетельствует о том, что экосистема вокруг NVKE быстро формируется, хотя и находится на ранней стадии.
06Как попробовать NVKE локально?
NVIDIA предоставляет возможность протестировать NVKE без необходимости развертывания полноценной bare-metal инфраструктуры. Локальный быстрый старт (local quickstart) запускается на одном Linux-хосте или виртуальной машине, поддерживая архитектуры amd64 и arm64.
Требования к локальной среде минимальны:
- Минимум 6 ядер CPU;
- 12 ГБ свободной оперативной памяти;
- 100 ГБ свободного дискового пространства;
- Установленный Docker;
- Поддержка виртуального TPM.
Важно отметить: для локальной оценки не требуется GPU или учетная запись NVIDIA. Это делает проект доступным для разработчиков и исследователей, которые хотят изучить архитектуру, не имея доступа к дорогостоящему оборудованию. Однако для реального развертывания потребуется деплоймент NICo с зарегистрированной емкостью, хост сборки с KVM, HTTP-сервер и реестр образов.
07Проблемы безопасности и зрелости
Несмотря на амбициозные заявления, у NVKE есть серьезные недостатки, которые нельзя игнорировать. Во-первых, после установки API NVKE обслуживает запросы по протоколу plain HTTP на порту 30080 с отключенной аутентификацией. Это критическая уязвимость для любой production-среды. Администраторам необходимо немедленно настраивать обратные прокси, TLS-терминацию и системы аутентификации поверх этого API.
Во-вторых, на данный момент отсутствуют процедуры обновления плоскости управления (management-plane upgrade) и резервного копирования. В мире Kubernetes, где обновления являются регулярной частью жизненного цикла, отсутствие документированных и протестированных путей миграции данных и конфигураций делает проект рискованным для использования в критически важных системах.

Кроме того, NVKR на момент публикации материала не имел ни одного квалифицированного релиза (qualified Release). Это означает, что автоматизированные проверки качества и совместимости могут быть не полностью завершены.
08Что это значит на практике
Для организаций, рассматривающих внедрение NVKE и NVKR, важно понимать контекст. Это не готовый продукт «коробочного» типа, который можно просто установить и забыть. Это инфраструктурный каркас, требующий значительных усилий по интеграции и настройке безопасности.
Плюсы:
- Открытый код (Apache 2.0) позволяет проводить аудит безопасности и кастомизацию.
- Глубокая интеграция с bare-metal GPU-серверами через NICo.
- Высокий уровень доверия к артефактам благодаря SBOM и подписям в NVKR.
- Сертификация Kubernetes 1.36 гарантирует совместимость с современным стеком.
Минусы:
- Отсутствие шифрования API по умолчанию и аутентификации.
- Нет готовых процедур бэкапа и обновления плоскости управления.
- Статус preview означает возможные баги и изменения в API.
- Высокие требования к инфраструктуре для продакшена (3 сервера CPU для управления + GPU-узлы).
Таким образом, NVKE и NVKR — это перспективный шаг NVIDIA в сторону децентрализации AI-инфраструктуры. Они дают компаниям контроль над своими данными и вычислениями, но требуют высокой квалификации команды DevOps и строгого подхода к безопасности. На данный момент это инструмент для энтузиастов и пилотных проектов, а не для критически важных production-нагрузок. Однако, учитывая ресурсы NVIDIA и интерес партнеров, в будущем мы можем увидеть более зрелые версии этих проектов, способные конкурировать с облачными решениями по удобству и надежности.
Если вы планируете экспериментировать с NVKE, начните с локального развертывания, чтобы понять архитектуру. Но будьте готовы к тому, что для вывода в продакшен потребуется значительная работа по «зашивке» дыр в безопасности и настройке процессов жизненного цикла. Следите за обновлениями репозиториев NVKE и NVKR, а также за техническим блогом NVIDIA, где публикуются детали внедрения.
Источник: MarkTechPost ↗
