От реактивного мониторинга к самоисцеляющимся кластерам
В октябре 2026 года NVIDIA представила версию 2.5 платформы Mission Control. Ключевое нововведение — интеграция движка автономного восстановления (Autonomous Recovery Engine) в среду Kubernetes, управляемую через NVIDIA Run:ai. Ранее эта функция была доступна только для HPC-задач на базе Slurm. Теперь система способна проактивно выявлять аномалии, изолировать неисправные узлы и перезапускать задачи без участия операторов, что критически важно для масштабных AI-фабрик, где простой стоит миллионы долларов.
Трехуровневая архитектура контроля
Новая архитектура работает как замкнутый контур управления, разделяя ответственность между планировщиком, сервисом восстановления задач и сервисом диагностики оборудования. Это позволяет обрабатывать сбои параллельно, не блокируя работу всего кластера.
| Компонент | Роль в системе | Действия при сбое |
|---|---|---|
| Kubernetes Scheduler (Run:ai) | Планировщик ресурсов | Размещает задачи на доступных узлах; перенаправляет работу при отказе. |
| Autonomous Job Recovery | Слой контекста задачи | Анализирует историю сбоев и топологию; решает: перезапуск, повтор или перепланирование. |
| Autonomous Hardware Recovery | Слой здоровья инфраструктуры | Изолирует faulty-ноды, запускает диагностику, исключает их из пула планирования. |
Сценарии обработки отказов
Система различает типы сбоев, чтобы избежать ложных срабатываний. При аппаратной ошибке (например, ECC-ошибки GPU или зависание воркера) система запускает два параллельных процесса: задача перезапускается на здоровых узлах, а неисправный узел изолируется для диагностики. При временных программных ошибках (таймауты, потеря координации) система выполняет повторный запуск задачи, не затрагивая инфраструктуру, что экономит время на диагностику.
Раннее обнаружение деградации
Помимо реакции на критические сбои, сервис автономного восстановления оборудования способен выявлять ранние признаки деградации производительности. Узлы с риском отказа удаляются из пула планирования до того, как они вызовут прерывание длительных тренировочных процессов. Также в релизе добавлена функция обнаружения сетевых аномалий на базе ИИ.
Источник: NVIDIA dev blog ↗