Что изменилось: от проприетарного ПО к Open Source
NVIDIA официально открыла исходный код своей платформы NVIDIA Run:ai под лицензией Apache 2.0. Теперь репозиторий доступен на GitHub, а сама платформа стала частью экосистемы NVIDIA DSX AI Factory. Это решение позволяет командам самостоятельно хостить стек, форкать его и использовать без платной подписки, хотя корпоративная поддержка NVIDIA остается коммерческой услугой.
Ключевое отличие нового релиза — переход от проприетарного разделения GPU к нативному использованию CUDA 13.4. Старый проприетарный механизм дробления GPU заменен на GPU Fractioning Operator, который обеспечивает жесткое ограничение памяти на уровне драйвера CUDA, что повышает безопасность и предсказуемость работы изолированных workload.
Архитектура: 4 модуля вместо монолита
Платформа разделена на четыре независимых компонента, которые можно внедрять выборочно:
- KAI Scheduler: Планировщик уровня Kubernetes (CNCF Sandbox), поддерживающий gang scheduling, fair-share, учет топологии и DRA (Device Resource Allocation).
- GPU Fractioning Operator: Оператор для дробления GPU с использованием CUDA 13.4, экспортирующий метрики на уровне подов.
- KAI Resource Management: Система управления квотами, проектами и пулами узлов (например, гарантия 50% ресурсов для R&D).
- Workload Map: Библиотека на Go для описания типов workload (PyTorchJob, RayCluster, KServe), работающая офлайн.
Сравнение с конкурентами
В отличие от Volcano, Kueue или YuniKorn, которые фокусируются исключительно на планировании или очередях, Run:ai предлагает полноценную платформу управления. Ниже приведено сравнение ключевых характеристик:
| Функция | NVIDIA Run:ai (Open Source) | Volcano | Kueue | Apache YuniKorn |
|---|---|---|---|---|
| Лицензия | Apache 2.0 | Apache 2.0 | Apache 2.0 | Apache 2.0 |
| Управление GPU | CUDA 13.4 fractions (hard limits) | vGPU, dynamic MIG | DRA-based quota | Не раскрыто |
| Gang Scheduling | Да | Да | Timeout-based | Да |
| Web UI | Да (встроенный) | Отдельный проект | Нет | Нет |
| Многокластерность | Да (через Control Plane) | Да | Да (MultiKueue) | Не раскрыто |
Локальная разработка и производительность
Для разработчиков подготовлен скрипт local-dev.sh, который собирает около 50 Go-сервисов и запускает 5-нодовый кластер Kind (Kubernetes v1.32.5) с эмуляцией 8 GPU Tesla-A10. Для локального билда требуется Linux (macOS через Podman VM), 16 ГБ ОЗУ и 100 ГБ свободного места. Windows не поддерживается.
В рамках экосистемы также открыт проект Model Streamer, который позволяет загружать веса моделей прямо в память GPU. Согласно бенчмаркам Microsoft на 8 узлах NVIDIA H100 в Azure, Model Streamer ускоряет загрузку в 3–6 раз по сравнению со стандартным загрузчиком, поддерживая пропускную способность 80 Гбит/с против 40 Гбит/с у базового пути.
Деплой и поддержка
Команды могут развернуть платформу через Helm-чарты из NGC Community Product. Для коммерческого использования доступны 8 партнеров экосистемы DSX, включая Crusoe, Mirantis, Nebius, OpenNebula, Rafay, Saturn Cloud, Spectro Cloud и vCluster. Enterprise-поддержка остается в рамках продуктов NVIDIA AI Enterprise и Mission Control.
Источник: MarkTechPost ↗