В эпоху масштабирования больших языковых моделей (LLM) и агентов ИИ, время — это не просто деньги, это вычислительная мощность. Когда вы обучаете модель на тысячах GPU, каждый простой означает не только упущенную прибыль, но и критическую задержку в выходе продукта на рынок. Распределенное обучение — это сложная экосистема, где сбои в аппаратном обеспечении, сетевых соединениях или программном обеспечении неизбежны. Остановившийся ранг (rank) может вызвать тайм-аут в NVIDIA Collective Communications Library (NCCL), узел с GPU может перестать отвечать на запросы планировщика, или «медлительный» узел (straggler) может замедлить всю работу. Вручную отслеживать и исправлять эти проблемы в режиме 24/7 на уровне всего кластера невозможно. Именно здесь на сцену выходит NVIDIA Recovery.
NVIDIA Recovery — это сервис уровня рабочих нагрузок (workload-level), входящий в состав NVIDIA DSX OS, который автоматизирует процесс восстановления после сбоев. Он работает круглосуточно, обнаруживая прерывания через анализ журналов приложений, метрик GPU и сигналов планировщика. Сервис координирует четырехэтапный цикл восстановления: обнаружение аномалий, атрибуция сбоев, изоляция проблемных узлов и перезапуск или остановка рабочих нагрузок в соответствии с заданной политикой. Это не просто скрипт для перезапуска задач, а интеллектуальный контроллер, который интегрируется с существующей инфраструктурой, такой как Slurm, сохраняя независимость от внутренних механизмов планировщика.
01Почему ручное восстановление больше не масштабируется?
По мере роста числа и размера тренировочных задач, накладывающиеся сбои увеличивают инженерную нагрузку и приводят к огромным потерям GPU-часов. Без непрерывного покрытия эти потери накапливаются, увеличивая общие вычислительные затраты и продлевая время до завершения обучения. Ручное восстановление становится неустойчивым, когда оно должно охватывать каждую тренировочную задачу в кластере, круглосуточно и в масштабе. Каждое прерывание требует анализа журналов, изоляции неисправностей и перезапуска с сохраненного контрольной точки (checkpoint), в то время как затронутые GPU остаются простаивающими.
Ключевая проблема заключается в том, что редкие сбои на уровне отдельных GPU складываются в значительные простои на уровне кластера. Вероятность безотказной работы кластера заметно падает с ростом количества GPU. Это объясняет, почему даже при высокой надежности отдельных компонентов, длительные и ресурсоемкие задачи наиболее уязвимы к сбоям. NVIDIA Recovery решает эту проблему, автоматизируя восстановление для всех типов задач — как небольших, где сбои накапливают операционную нагрузку, так и крупных, где каждый сбой стоит огромных вычислительных ресурсов.
02Многоуровневая архитектура устойчивости NVIDIA
NVIDIA Recovery не существует в вакууме. Он является частью более широкой архитектуры устойчивости, описанной в стеке NVIDIA DSX OS. Важно понимать его место в этой иерархии. На нижнем уровне находится мониторинг здоровья узлов и их изоляция, которые зависят от оркестратора кластера. Например, в средах Kubernetes используется NVSentinel для мониторинга метрик здоровья GPU и событий XID, автоматически помечая неисправные узлы как недоступные (cordon and drain). В средах Slurm часто используются пользовательские скрипты prolog и epilog, или же оператор Slurm из проекта Slinky.
На уровне самого тренировочного задания библиотеки, такие как NVRx, обеспечивают восстановление, обнаружение зависаний и смягчение последствий от «медлительных» узлов непосредственно внутри приложения. Однако NVRx требует ручной настройки для каждой рабочей нагрузки. NVIDIA Recovery заполняет этот пробел, координируя восстановление между рабочими нагрузками на уровне кластера. Он интегрируется с инфраструктурными инструментами исправления и библиотеками уровня фреймворка, управляя перезапуском задач, размещением и исключением узлов. Эти слои работают независимо, что позволяет внедрять их модульно, не нарушая существующие рабочие процессы.
03Четыре этапа автоматизированной петли восстановления
Сервис NVIDIA Recovery координирует процесс через четко структурированную четырехэтапную петлю. Каждое действие определяется типом прерывания и настроенной политикой. Давайте разберем каждый этап подробно.
1. Обнаружение (Detect)
Модуль обнаружения аномалий (Anomaly Detector) объединяет данные из журналов приложений и сигналов планировщика. Он идентифицирует три основных типа проблем:
- Крэши и зависания: Распознаются ошибки PyTorch, NCCL, CUDA, а также паттерны сбоев межсоединений. Отсутствие сигналов прогресса или известные паттерны коммуникационных зависаний указывают на потенциальные зависания.
- Stragglers (Медлительные узлы): Выявляются по устойчивому снижению пропускной способности по сравнению с недавним базовым уровнем.
- Сбои планировщика: Анализ сигналов от Slurm или Kubernetes.
2. Атрибуция (Attribute)
После обнаружения аномалии система должна понять её причину. NVIDIA Recovery использует собранные журналы и сигналы для классификации прерывания. Здесь в игру может вступить NVIDIA Attribution — дополнительный сервис, который предоставляет более глубокую диагностику, позволяя отличить аппаратные сбои от проблем системного программного обеспечения или багов
Источник: NVIDIA Developer ↗