Проблема: «Скрытые» сбои в распределенном обучении
Один неэффективный GPU может замедлить весь процесс распределенного обучения. Узел может проходить базовые проверки здоровья и показывать нормальную загрузку, но операторы обнаруживают проблему только после запуска рабочей нагрузки. Это приводит к потере вычислительных ресурсов и простою здоровых нод из-за осторожности. Метрики утилизации часто маскируют эти потери, поэтому ключевым показателем эффективности становится Goodput — объем успешно выполненной работы.
Решение: NVIDIA DSX OS
Платформа NVIDIA DSX AI Factory Platform включает open-source слой NVIDIA DSX OS (лицензия Apache 2.0), который охватывает весь жизненный цикл GPU-кластера Kubernetes. Решение состоит из трех основных компонентов:
- NVIDIA AI Cluster Runtime (AICR): Определяет воспроизводимый базовый уровень конфигурации с фиксированными версиями и графами зависимостей.
- NVIDIA Cluster Readiness Engine (NVCRE): Проверяет готовность кластера к продакшену через тесты NCCL и тренировочные задачи.
- NVSentinel: Непрерывно мониторит здоровье GPU, узлов и сети, автоматически изолируя неисправные ноды.
Детали реализации: Конфигурация и Сертификация
AICR генерирует «рецепты» (recipes), которые фиксируют версии компонентов (например, драйверов, сетевого стека) и их зависимости. Это позволяет интегрироваться с существующими инструментами развертывания, такими как Argo CD, Flux и Helm. NVCRE же валидирует кластер, запуская реальные AI-нагрузки и тесты коммуникации NCCL, чтобы выявить узлы, которые могут стать «бутылочным горлышком».
| Компонент | Функция | Ключевые возможности |
|---|---|---|
| AICR | Конфигурация | Фиксация версий, графы зависимостей, детекция дрейфа конфигурации (drift detection), генерация бандлов для Argo/Flux/Helm. |
| NVCRE | Сертификация | Тесты NCCL, запуск тренировочных задач, валидация готовности к продакшену, бисекция отказавших групп узлов. |
| NVSentinel | Эксплуатация | Мониторинг GPU/сети, автоматический cordoning/drainage узлов, триггер повторной сертификации (NVCRE) после ремонта. |
Почему это важно для DevOps и MLOps
Решение закрывает «пробел в видимости» (visibility gap), когда кластер, прошедший проверку при передаче, меняется со временем (патчи драйверов, замена нод). NVSentinel может автоматически изолировать неисправный узел, а контроллер жизненного цикла гарантирует, что нода вернется в строй только после успешной повторной валидации через NVCRE. Это минимизирует простой и гарантирует, что кластер всегда готов к запуску ресурсоемких AI-задач.
Источник: NVIDIA dev blog ↗