Проблема масштабируемости и стоимость простоев
При обучении крупных моделей распределенные кластеры сталкиваются с компounding-эффектом отказов: даже при вероятности отказа отдельного GPU в 99,9%, задача на 10 000 GPU имеет шанс успешной работы всего 0,005%. Исследование Meta показало, что хотя аппаратные сбои прерывают менее 1% задач, на них приходится 19% всего времени выполнения GPU. Ручное восстановление логов, изоляция узлов и перезапуск с чекпоинтов становятся узким местом, особенно при круглосуточной работе кластера.
Решение: NVIDIA Recovery в составе DSX OS
Сервис NVIDIA Recovery, входящий в портфель NVIDIA DSX OS, автоматизирует цикл восстановления на уровне рабочих нагрузок (workload-level). Он интегрируется с планировщиками (например, Slurm) через Advisor Controller (доступен как Helm-чарт) и работает в двух режимах: in-cluster и SSH. Ключевая особенность — сервис не зависит от внутренней логики планировщика, выступая независимым контроллером.
Процесс восстановления состоит из четырех этапов:
- Обнаружение аномалий: анализ логов приложений, метрик GPU и сигналов планировщика.
- Атрибуция сбоев: определение виновных ресурсов с помощью NVIDIA Attribution.
- Изоляция: исключение неисправных узлов из пула (через NVSentinel или скрипты Slurm).
- Восстановление: автоматический перезапуск задачи с чекпоинта на здоровых узлах или остановка работы согласно политике.
Производственные метрики и безопасность
Сервис запускается в режиме monitor по умолчанию, публикуя рекомендации без вмешательства в работу планировщика, что позволяет валидировать качество сигналов. Все действия фиксируются в неизменяемом журнале аудита. Тестирование на реальном кластере (с 9 июля по 9 октября) показало следующие результаты:
| Метрика | Значение | Примечание |
|---|---|---|
| Количество обрабатываемых задач | ~200 в день | На одном из тестовых кластеров |
| Обнаруженные аномалии | ~8 550 | За период мониторинга |
| Среднее время обнаружения | 69 секунд | От сбоя до фиксации |
| Среднее время действия восстановления | 94 секунды | От обнаружения до выполнения действия |
Интеграция и доступность
NVIDIA Recovery не заменяет, а дополняет существующие инструменты: NVRx для обнаружения зависаний внутри задачи и NVSentinel для мониторинга здоровья узлов. Код сервиса открыт и доступен в репозитории dsx-ai-factory/NVIDIA-Recovery. Развертывание возможно как локально (для тестирования без GPU), так и в production-средах с поддержкой Slurm и Kubernetes.
Источник: NVIDIA dev blog ↗