Разработка и эксплуатация искусственного интеллекта в корпоративном масштабе — это не только вопрос выбора моделей или обучения на мощных GPU. Это, в первую очередь, вопрос инфраструктуры. Когда вы запускаете распределенное обучение или сложную инференс-пайплайн, вы работаете не с одним процессом, а с целым «лесом» ресурсов: группами подов, репликами, специфическими статусами и зависимостями. В экосистеме Kubernetes каждый популярный AI-фреймворк — будь то PyTorch, Ray или KServe — предлагает свой собственный способ описания этих структур. Для разработчика это выглядит как бесконечная гонка вооружений: чтобы инструмент мог понять новую нагрузку, нужно написать для неё отдельный адаптер.
Эта проблема парализует скорость внедрения новых технологий. Команды, создающие планировщики, панели мониторинга или системы управления затратами, вынуждены тратить недели на то, чтобы «научить» свой софт понимать структуру нового Custom Resource Definition (CRD). NVIDIA Workload Map предлагает радикально иной подход: вместо написания кода для каждого фреймворка, мы создаем единое декларативное описание. Это позволяет планировщикам, контроллерам и платформам интерпретировать распределенные нагрузки универсально, без необходимости поддерживать разрозненные парсеры. В этой статье мы подробно разберем, как работает эта технология, почему она меняет правила игры в управлении AI-фабриками и как её можно применить уже сегодня.
01Почему каждый тип нагрузки требует своего адаптера?
В мире Kubernetes реальная рабочая нагрузка (workload) редко бывает просто одним подом. Распределенная задача обучения или многоузловой сервер инференса — это маленькое дерево ресурсов. У него есть лидер, есть воркеры, у каждого есть своя роль, количество реплик, шаблон пода и статус, который зависит от типа нагрузки. Когда команды строят инструменты для управления этими ресурсами, они сталкиваются с фундаментальной проблемой: каждый фреймворк кодирует эту информацию по-своему.
Команда NVIDIA Run:ai столкнулась с этой проблемой на собственном опыте. При создании платформы им приходилось отвечать на одни и те же вопросы для каждого нового типа ресурса:
- Какова структура типа нагрузки?
- Как интерпретировать статус ресурса как фазу (например, «Running» или «Failed»)?
- Как изменить спецификацию пода, не сломав при этом рабочую нагрузку?
Разработчик отвечает на эти вопросы один раз для каждого типа нагрузки, создавая так называемый «адаптер» (adapter). Каждый новый фреймворк, который приносит клиент, требует нового адаптера. Это превращает поддержку новых типов нагрузок в постоянную статью расходов, а не в разовую задачу. Именно поэтому поддержка нового типа рабочей нагрузки часто откладывается до следующего крупного релиза платформы.
Рассмотрим пример манифеста распределенной задачи обучения, который пользователь отправляет в кластер. Это JobSet, состоящий из одного лидера (leader) и двух воркеров (workers), каждый из которых запрашивает четыре GPU. На первый взгляд, структура проста, но для интерпретации этой структуры требуется код, aware-ный к JobSet. Команда `kubectl get jobset,jobs,pods` покажет ресурсы раздельно, скрывая их логическую связь.
apiVersion: jobset.x-k8s.io/v1alpha2
kind: JobSet
metadata:
name: demo
spec:
replicatedJobs:
- name: leader
replicas: 1
template:
spec:
parallelism: 1
completions: 1
template:
spec:
containers:
- name: leader
image: ghcr.io/example/trainer:latest
resources:
limits:
nvidia.com/gpu: 4
- name: worker
replicas: 2
template:
spec:
parallelism: 1
completions: 1
template:
spec:
containers:
- name: worker
image: ghcr.io/example/trainer:latest
resources:
limits:
nvidia.com/gpu: 4Этот манифест описывает одного лидера, двух воркеров и общий запрос в 12 GPU. Без общего описания структуры пользователю пришлось бы самостоятельно реконструировать эту иерархию и суммировать запросы GPU. Платформе же нужен способ увидеть это дерево как единое целое.
02Общее описание структуры Kubernetes-нагрузок
NVIDIA Workload Map (ранее известный как Karta) предлагает решение этой проблемы. Это проект, который поставляется в виде Kubernetes Custom Resource Definition (CRD) и библиотеки на Go, интерпретирующей определения нагрузок. Ключевая идея заключается в том, чтобы предоставить общий структурный вид для планировщиков и платформ, позволяя им использовать одни и те же определения для разных целей.
Workload Map поставляется с каталогом предварительно созданных, протестированных определений для широкого спектра фреймворков, включая JobSet, PyTorchJob, RayCluster, RayJob, RayService, KServe, Knative, MPIJob, NVIDIA NIM, LeaderWorkerSet, Milvus, Grove PodCliqueSet и NVIDIA Dynamo. Это означает, что для большинства популярных AI-инструментов определение уже существует.
Библиотека Go разрешает живой объект в унифицированное структурное представление. Имея определение нагрузки, потребитель (например, планировщик или панель мониторинга) может:
- Извлекать шаблоны подов, количество реплик, статус и метаданные.
- Обновлять спецификации подов, метки и аннотации для каждого экземпляра.
- Понимать иерархию нагрузки, например, реплицированные Jobs в JobSet и их поды.
Важнейший аспект здесь — перенос знаний о структуре из скомпилированных адаптеров в данные. Разработчики могут писать, просматривать и применять эти определения как обычные манифесты YAML. Это снижает порог входа и ускоряет интеграцию новых фреймворков.
03Написание определения нагрузки для JobSet
Чтобы понять мощь подхода, давайте разберем, как выглядит определение нагрузки для JobSet. Оно выражается в виде ресурса Workload Map и описывает форму этой нагрузки. Рассмотрим ключевые части этого определения.
Корневой компонент определяет собственный тип нагрузки и то, как читается её статус. В примере ниже мы видим использование `statusMappings` — это слой трансляции. JobSet не сообщает о простом условии «Running», поэтому определение выводит его с помощью выражения `jq` над `replicatedJobsStatus` (любой Job готов и активен, ни один не потерпел неудачу) и отображает нативные условия Completed и Failed на общий словарь, который уже используют потребители.
apiVersion: run.ai/v1alpha1
kind: Karta
spec:
structureDefinition:
rootComponent:
name: jobset
kind:
group: jobset.x-k8s.io
version: v1alpha2
kind: JobSet
statusDefinition:
conditionsDefinition:
path: .status.conditions
statusMappings:
running:
- byExpression:
expression: "(.status.replicatedJobsStatus // []) | any(.ready > 0 and .active > 0) and all(.failed == 0)"
expectedResult: "true"
completed:
- byConditions:
- type: Completed
status: "True"
failed:
- byConditions:
- type: Failed
status: "True"Когда RayJob или LeaderWorkerSet описываются с помощью того же механизма, их совершенно разные статусы отображаются на одни и те же категории. Это обеспечивает унификацию на уровне данных.
Следующая часть определения определяет дочерние компоненты — структуру внутри нагрузки. JobSet объявляет свои роли в виде списка, поэтому `.spec.replicatedJobs` содержит одну запись на роль. Символ `[]` в этих путях означает «для каждой записи в этом списке», и каждая запись является тем, что Workload Map называет экземпляром.
childComponents:
- name: replicatedjob
kind: { group: batch, version: v1, kind: Job }
ownerRef: jobset
specDefinition:
podTemplateSpecPath: .spec.replicatedJobs[].template.spec.template
scaleDefinition:
replicasPath: .spec.replicatedJobs[] | .replicas * .template.spec.parallelism
instanceIdPath: .spec.replicatedJobs[].nameПуть `podTemplateSpecPath` указывает на шаблон пода каждого Job. `scaleDefinition` использует `jq` для вычисления количества подов: количество подов на реплицированный Job равно `replicas`, умноженному на `parallelism`. Именно поэтому в манифесте выше `parallelism` указан явно. `instanceIdPath` берет имя каждого экземпляра из `.spec.replicatedJobs[].name`, что позволяет различать роли «leader» и «worker» вместо того, чтобы видеть три анонимных Job.
Теперь специфичная для фреймворка структура захвачена в одном переиспользуемом определении. Следующий раздел показывает, как разные потребители используют это определение для различных задач.
04Использование одного описания в разных инструментах
Определенное единообразие открывает возможности для трех основных рабочих процессов: инспекция нагрузок, групповое планирование (gang scheduling) и управление платформой. Давайте посмотрим, как это работает на практике.
Инспекция нагрузок с помощью CLI Workload Map
CLI Workload Map читает нагрузки из кластера и отображает их через их определения нагрузки. Для демонстрационного JobSet CLI загружает описание JobSet, разрешает живой объект и его поды, а затем печатает дерево. Этот процесс инспекции не требует установки Workload Map в кластер, что делает его отличным инструментом для отладки и мониторинга.
Для установки CLI на macOS или Linux можно использовать Homebrew:
brew tap dsx-ai-factory/kli https://github.com/dsx-ai-factory/workload-map
brew install dsx-ai-factory/kli/kli
kli --versionПосле установки, команда `kli describe jobset/demo -n
JobSet/demo namespace: default definition: jobset-x-k8s-io-jobset-v1alpha2 (catalog) age: 20s
`-- replicatedjob 3/3 ready gpu: 12 runai-cluster-worker-0-0
|-- leader 1/1 ready gpu: 4 runai-cluster-worker-0-0
| `-- demo-leader-0-0-ck6kg Running gpu: 4 runai-cluster-worker-0-0
`-- worker 2/2 ready gpu: 8 runai-cluster-worker-0-0
|-- demo-worker-0-0-j9pdc Running gpu: 4 runai-cluster-worker-0-0
`-- demo-worker-1-0-rrsxz Running gpu: 4 runai-cluster-worker-0-0
Phase: Running
Resources:
COMPONENT REPLICAS GPU CPU MEMORY
leader 1 4 0 0
worker 2 8 0 0
TOTAL 3 12 0 0Как видно из вывода, определение поставляет специфичную для JobSet структуру, поэтому CLI может инспектировать нагрузку без выделенного парсера. Это дает мгновенную видимость того, как распределены ресурсы и какой статус имеет каждый компонент.
Включение gang scheduling с помощью KAI Scheduler
Для потребителей, которые планируют нагрузки, определение может также включать инструкции для gang scheduling. Это критически важно для распределенного обучения, где все поды должны быть запущены одновременно, чтобы избежать простоев.
optimizationInstructions:
gangScheduling:
podGroup:
name: job
subGroups:
- componentName: replicatedjobОпределение поставляет информацию о группировке; KAI Scheduler обеспечивает групповое допущение (gang admission) и принимает решения о размещении. KAI Scheduler использует Workload Map как запасной вариант в своем группировщике подов для типов нагрузок без нативного плагина. Соответствующее определение предоставляет структуру и информацию о группировке без необходимости создания нового плагина, специфичного для фреймворка, в то время как нативные плагины сохраняют приоритет.
Управление той же нагрузкой в NVIDIA Run:ai
В NVIDIA Run:ai один вызов API регистрирует тип нагрузки, используя то же самое определение из каталога, без дополнительного кода. Платформа затем использует это описание для управления JobSet как единой нагрузкой. Это означает, что интерфейс пользователя, история выполнения и управление ресурсами будут видеть JobSet как один логический объект, а не как набор разрозненных Job.
CLI, KAI Scheduler и NVIDIA Run:ai используют одно и то же определение для разных целей: инспекция, планирование и видимость платформы. Для другого поддерживаемого типа нагрузки соответствующее определение из каталога поставляет его структуру через тот же интерфейс.
05Принятие Workload Map в планировщиках и платформах
NVIDIA Workload Map доступен под лицензией Apache 2.0 и уже используется в продакшене внутри NVIDIA Run:ai. Его декларативные определения поддерживают видимость нагрузок, интерпретацию статуса, отправку и мутацию для поддерживаемых типов Kubernetes-нагрузок.
Принятие также распространяется на многокластерное планирование. Elotl’s Nova использует Workload Map для интерпретации структуры нагрузки и требований к ресурсам при выборе кластера для распределенных рабочих нагрузок. Это позволяет системам принимать более обоснованные решения о размещении, основываясь на единой модели данных, а не на разрозненных спецификациях.
06Что это значит на практике
Для инженеров по машинному обучению и DevOps-специалистов, работающих с AI-инфраструктурой, NVIDIA Workload Map означает конец эпохи «ручного кодирования» поддержки новых фреймворков. Раньше, чтобы добавить поддержку нового фреймворка, например, нового типа RayJob или специфического KServe-инференса, команде нужно было выделять разработчиков на написание и тестирование адаптеров. Теперь этот процесс сводится к добавлению YAML-определения в каталог.
Это ускоряет цикл обратной связи. Если появляется новый фреймворк или обновляется существующий, вы можете обновить определение в Workload Map, и все ваши инструменты — от панели мониторинга до планировщика — автоматически начнут корректно интерпретировать новые структуры. Это особенно важно в быстро меняющейся среде AI, где новые архитектуры и фреймворки появляются постоянно.
Кроме того, унификация данных позволяет строить более сложные системы управления затратами и оптимизации. Когда вы видите нагрузку как единое целое с понятной иерархией, вы можете точнее распределять затраты, прогнозировать использование ресурсов и оптимизировать размещение подов. Workload Map становится тем общим языком, который позволяет различным компонентам AI-фабрики говорить друг с другом, не теряя смысла.
Если вы управляете Kubernetes-кластерами для AI-нагрузок, стоит начать с изучения каталога Workload Map. Найдите определение для фреймворка, который вы уже используете, и попробуйте применить его с помощью CLI или интегрировать с вашим планировщиком. Присоединяйтесь к сообществу NVIDIA DSX AI Factory Slack, чтобы обсудить определения нагрузок и интеграции. Это шаг к более эффективной, масштабируемой и управляемой AI-инфраструктуре.
Источник: NVIDIA Developer ↗