Развертывание искусственного интеллекта на базе новых архитектур GPU — это не просто установка драйверов. Это сложный танец между ядрами Linux, контейнерными рантаймами, сетевыми стеками и специфическими настройками планировщика. Когда на смену привычным GB200 NVL72 приходят новые чипы NVIDIA Vera Rubin, каждый компонент инфраструктуры должен быть пересмотрен. Ошибка в одном из звеньев цепочки может привести к падению производительности или полному неработоспособному кластеру. Именно здесь на сцену выходит NVIDIA AI Cluster Runtime (AICR), инструмент, который превращает хаос совместимости в воспроизводимые рецепты.
В этой статье мы подробно разберем, как платформа NVIDIA DSX AI Factory Platform, через которую интегрирован AICR, обеспечивает готовность Kubernetes к работе с Vera Rubin NVL72 «с первого дня» (Day One). Мы рассмотрим технические различия между поколениями, ключевые изменения в драйверах и сетях, а также пошаговый процесс валидации, который позволяет инженерам избежать типичных ошибок при переходе на новое железо. Это руководство для тех, кто строит AI-фабрики будущего и хочет понять, как подготовить инфраструктуру к приему новых мощностей без лишних головных болей.
01Что такое AICR и почему это важно для AI-инфраструктуры?
NVIDIA AI Cluster Runtime (AICR) — это не просто еще один инструмент для деплоя. Это часть более широкой экосистемы NVIDIA DSX AI Factory Platform, которая призвана стандартизировать процесс проектирования, сборки и эксплуатации AI-кластеров. Главная проблема при внедрении нового GPU-оборудования в Kubernetes-окружение заключается в том, что конфигурация должна быть согласована на всех уровнях: от низкоуровневых биндингов до слоя оркестрации.
AICR решает эту проблему, захватывая тщательно настроенные конфигурации в виде переиспользуемых «рецептов» (recipes). Эти рецепты содержат не только версии ПО, но и специфические настройки для конкретного оборудования. После генерации рецепта AICR создает пакеты развертывания, совместимые с существующими инструментами (такими как Helm), и, что самое важное, проводит валидацию работающего кластера. Это гарантирует, что все компоненты работают согласованно, а производительность соответствует ожидаемым метрикам.
Для инженеров, работающих с Vera Rubin NVL72, это означает возможность воспроизвести успешную конфигурацию на любом кластере, а не полагаться на интуицию или разрозненные инструкции. AICR берет на себя рутину проверки совместимости, позволяя командам сосредоточиться на самих AI-моделях, а не на борьбе с инфраструктурой.
02Эволюция архитектуры: От GB200 к Vera Rubin NVL72
Vera Rubin NVL72 — это эволюция знакомой архитектуры NVIDIA MGX rack-scale, которая теперь находится в своем третьем поколении. Однако, несмотря на преемственность, есть ряд существенных изменений, которые необходимо учитывать при планировании обновления. Игнорирование этих различий может привести к серьезным проблемам с производительностью и стабильностью.
Драйверы GPU: Новый ветка R615.23
Одним из самых заметных изменений является необходимость использования новой ветки драйверов. Для Vera Rubin NVL72 валидация пройдена с версией R615.23, которая является хост-установленным драйвером с открытым ядром (open-kernel-module). Это важное отличие от предыдущих поколений, где часто использовались проприетарные драйверы, управляемые оператором.
Стоит отметить, что ранняя поддержка также планируется для ветки R610, а официальная поддержка платформы ожидается в версии R620. Однако текущей тестируемой версией является именно R615.23. Важно понимать, что это не минимальная требуемая версия для официальной поддержки, а текущий стандарт валидации. Базовая конфигурация AICR для GB200 использует версию R580.173.02, поэтому переход на Vera Rubin потребует явного обновления драйверов.
Сетевая инфраструктура: ConnectX-9 и BlueField-4
Архитектура сети также претерпела значительные изменения. В то время как GB200 NVL72 использовала сетевые карты NVIDIA ConnectX-7 и процессоры данных (DPU) BlueField-3, Vera Rubin NVL72 переходит на более новые решения: ConnectX-9 SuperNIC и BlueField-4 DPU. Это требует обновления стека DOCA. Версия DOCA 3.3.0 стала первым релизом, поддерживающим ConnectX-9, и именно она используется в валидированном системном образе Vera Rubin.
AICR использует хост-установленные драйверы NIC и технологию DRANET для выделения сетевых ресурсов подкам. Совместимость с Network Operator остается отдельным шагом квалификации, поэтому командам следует внимательно изучать примечания к выпуску DOCA 3.3.0. Важно помнить, что использование DRANET позволяет эффективно управлять сетевыми ресурсами в условиях высокой плотности GPU.
Топология устройств и NUMA-привязка
Топология GPU, NIC и DMA в вычислительном лотке Vera Rubin NVL72 отличается от GB200. Это критически важно для I/O-нагруженных рабочих нагрузок, таких как RDMA-сети и GPUDirect Storage. В обоих поколениях лотки содержат два процессора и четыре GPU, но Vera Rubin NVL72 предлагает восемь групп PCI-устройств ConnectX-9 с 32 функциями, в то время как GB200 имел четыре адаптера ConnectX-7.
Привязка GPU к NUMA-узлам остается аналогичной: GPU 0 и 1 привязаны к CPU NUMA 0, а GPU 2 и 3 — к CPU NUMA 1. Связь GPU-NIC осуществляется на уровне узла (NODE) внутри сокета и на уровне системы (SYS) между сокетами. Количество PCI-функций не равно количеству физических портов, поэтому при настройке сетей необходимо учитывать эту особенность, чтобы избежать узких мест в пропускной способности.
03Рецепты AICR: Кодификация знаний
Все вышеперечисленные изменения закодированы в новом семействе рецептов Vera Rubin. Это позволяет инженерам не изобретать велосипед, а использовать готовые, проверенные комбинации. Рецепт AICR — это не просто список пакетов, это комплексное описание состояния кластера, включая специфические настройки платформы.
Ключевые компоненты рецепта
Рецепт для Vera Rubin NVL72 включает в себя несколько критически важных компонентов:
- Управляемый хостом драйвер: Поскольку системный образ Vera Rubin предварительно устанавливает драйвер с открытым ядром для архитектуры arm64, рецепт запускает GPU Operator с параметром
driver.enabled: false. Контейнерный тулкит остается под управлением оператора. Это изменение отражает переход к более гибкой модели управления драйверами. - DRA-драйвер с ComputeDomains: Для обеспечения работы через NVLink-фреймворк IMEX включены ComputeDomains. При этом выделение ресурсов остается целым GPU через Device Plugin. Это позволяет эффективно изолировать ресурсы и управлять ими на уровне Kubernetes.
- Платформенные особенности: Рецепт фиксирует такие детали, как необходимость использования Kubernetes версии >= 1.34.1 (для GA-релиза API ресурса k8s.io/v1, который используют ComputeDomains/IMEX) и Ubuntu 26.04 с оптимизированным ядром 64k-page. Также учтены мелкие, но важные нюансы, такие как увеличение лимита памяти для NFD Topology Updater с 60Mi до большего значения, чтобы избежать ошибок OOM (Out of Memory) на узлах с терабайтами памяти.
04Процесс валидации: От сборки к проверке
Валидация — это сердце AICR. Она не ограничивается проверкой установки, а включает в себя комплексные тесты на соответствие требованиям (conformance) и производительность. Давайте разберем, как выглядит этот процесс на практике.
Шаг 1: Генерация рецепта
Процесс начинается с генерации рецепта. Это офлайн-операция, которая занимает считанные секунды. Инструмент AICR разрешает критерии против каталога рецептов и создает YAML-файл с полной конфигурацией.
$ aicr recipe \
--service rke2 \
--accelerator vr200 \
--os ubuntu \
--intent training \
-o recipe.yamlРезультирующий рецепт включает 14 компонентов, таких как cert-manager, dra-node-labeler, dranet, gpu-operator, kai-scheduler и другие. Особое внимание уделяется DraNet — сетевому драйверу DRA, который выделяет устройства ConnectX-9 подкамам. Также применяется эксклюзивный режим сетевых пространств имен (netns) для RDMA через NodeWright, что гарантирует, что каждый подок видит только свой Host Channel Adapter (HCA).
Шаг 2: Рендеринг пакета развертывания
После генерации рецепта AICR создает пакет развертывания. Это набор упорядоченных Helm-чартов для каждого компонента, управляемый единым скриптом развертывания.
$ aicr bundle -r recipe.yaml -o ./bundle
Files generated: 61
$ ls bundle
001-cert-manager 008-gpu-operator checksums.txt
002-dranet 009-kai-scheduler deploy.sh
003-nfd 010-k8s-ephemeral-storage-... README.md
004-nodewright-operator 011-nvidia-dra-driver-gpu recipe.yaml
005-nodewright-customizations 012-nvsentinel
006-prometheus-operator-crds 013-prometheus-adapter
007-kube-prometheus-stackЭтот пакет можно использовать для развертывания на любом совместимом кластере. Порядок установки компонентов критически важен, и AICR гарантирует его соблюдение.
Шаг 3: Снимок и валидация
Финальный шаг — это создание снимка состояния кластера и запуск проверок. AICR захватывает фактическое состояние кластера, проверяет соответствие рецепту и запускает валидационные задачи внутри кластера.
$ aicr snapshot --output snapshot.yaml
$ aicr validate -r recipe.yaml -s snapshot.yaml --phase deployment
[cli] readiness constraint passed: name=OS.release.VERSION_ID
expected=26.04 actual=26.04
[cli] readiness constraint passed: name=OS.sysctl./proc/sys/kernel/osrelease
expected=>= 7.0 actual=7.0.0-2008-nvidia-bos-64k
[cli] phase completed: phase=deployment status=passed validators=4 passed=4Валидация проходит в три фазы: deployment (развертывание), conformance (соответствие) и performance (производительность). Каждая фаза включает несколько проверок, от здоровья операторов до метрик DCGM и поддержки DRA.
05Результаты производительности и выводы
Одним из самых впечатляющих результатов валидации стала проверка производительности NCCL. Тест all-reduce между узлами через NVLink-фреймворк IMEX показал пропускную способность шины 744.71 ГБ/с при размере пакета 16 ГБ. Это подтверждает, что сетевая инфраструктура и конфигурация ComputeDomains работают оптимально.
Важно отметить, что ранняя валидация столкнулась с некоторыми трудностями. Например, на ранних образцах кремния была обнаружена непокрытая архитектура Rubin значение в библиотеке go-nvlib, что приводило к краху плагина kubelet DRA. Однако это ошибка была быстро исправлена и включена в официальный релиз DRA-драйвера v0.5.0. Это демонстрирует важность итеративного подхода и тесного взаимодействия между разработчиками ПО и инженерами по внедрению.
06Что это значит на практике
Для инженеров, планирующих переход на NVIDIA Vera Rubin NVL72, ключевым выводом является необходимость заблаговременной подготовки инфраструктуры. Использование AICR позволяет стандартизировать этот процесс, снижая риски ошибок и сокращая время развертывания.
Рекомендуется начать с генерации рецепта для обучения (training) с помощью одной команды, чтобы оценить валидированную конфигурацию. Затем можно перейти к рецепту для вывода (inference) с флагом платформы Dynamo, чтобы изучить варианты для инференса. Также стоит изучить подписанные доказательства валидации для обучающего рецепта, чтобы увидеть полные результаты развертывания, соответствия и производительности.
В конечном итоге, NVIDIA AICR предоставляет мощный инструмент для управления сложностью современных AI-кластеров. Он превращает разрозненные настройки в воспроизводимые, проверяемые и поддерживаемые решения, позволяя командам сосредоточиться на инновациях, а не на инфраструктурных проблемах. С выходом Vera Rubin, этот подход становится еще более актуальным, обеспечивая готовность Kubernetes к новым вызовам искусственного интеллекта.
Следите за обновлениями NVIDIA DSX AI Factory Platform, так как поддержка Vera Rubin будет расширяться и улучшаться. Готовьтесь к переходу сейчас, чтобы быть готовым к запуску AI-нагрузок на новом оборудовании с первого дня.
Источник: NVIDIA Developer ↗