Проблема масштаба: почему старые методы мониторинга не работают
В современных AI-фабриках, где работают сотни тысяч GPU, традиционный мониторинг на основе статических порогов (rule-based) терпит крах. Главная проблема — так называемые «серые сбои» (gray failures). Компонент остается в сети, но его производительность деградирует: GPU работает на несколько градусов горячее соседей, NVMe-накопитель теряет скорость под нагрузкой, или свитч генерирует шторм паузных кадров (pause-frame storm). Эти аномалии не превышают жестких лимитов, но создают «узкие места» (stragglers), замедляя весь распределенный тренинг модели.
Решение: Динамический граф знаний и корреляция событий
NVIDIA Minerva собирает телеметрию со всего стека: GPU, сетей Spectrum-X/NVLink, SuperNIC, DPU, хранилищ и планировщиков задач. Ключевая инновация — динамический граф знаний (knowledge graph), который в реальном времени связывает инфраструктуру с активными рабочими нагрузками. Это позволяет операторам видеть не просто список ошибок, а причинно-следственные связи: от упавшего интерфейса до конкретного job ID и затронутых нод.
Платформа использует топологически-осознанную корреляцию для сжатия «штормов событий». В одном из описанных случаев 81 отдельное предупреждение от шторма паузных кадров были сгруппированы в одно инцидент. Это сократило время ремонта и сэкономило около 54 часов времени работы кластера.
Обнаружение аномалий: Supervised и Unsupervised ML
Minerva обрабатывает миллиарды точек данных в час, используя два типа моделей:
- Supervised (обученные с учителем): Ищут известные критические ошибки и привязывают их к инструкциям по устранению.
- Unsupervised (обученные без учителя): Анализируют поведение компонентов в сравнении с «соседями» (peer comparison). Например, температура GPU может быть в норме, но если она значительно выше, чем у других GPU под той же нагрузкой, система пометит это как аномалию.
Проактивная защита и AI-агент Sherlock
Система способна проактивно выявлять редкие аппаратные сбои, такие как неисправности PCIe у SuperNIC или проблемы с состоянием питания NVMe. Это позволяет автоматически «дренировать» (отключать от задач) проблемные узлы до того, как на них попадут клиентские workload, предотвращая потерю сотен или тысяч часов GPU-времени.
Для взаимодействия с операторами внедрен AI-агент Sherlock и сервер MCP, позволяющие запрашивать живые данные естественным языком и интегрировать контекст в внешние agentic-рабочие процессы.
Ключевые метрики и возможности
| Параметр | Значение / Описание |
|---|---|
| Обработка данных | Миллиарды точек метрик и логов в час |
| Пример экономии времени | 54 часа простоя кластера (за счет группировки 81 алерта в 1 инцидент) |
| Типы обнаруживаемых сбоев | «Серые сбои» (деградация без падения), штормы паузных кадров, аномалии температуры/питания |
| Интеграция | GPU, Spectrum-X, NVLink, SuperNIC, DPU, NCCL, планировщики |
| AI-инструменты | Агент Sherlock, MCP-сервер для естественного языка |
Minerva позиционируется как инструмент для сохранения эффективного GPU-времени и обеспечения непрерывности обучения моделей. Подробнее о платформе можно узнать на странице продукта NVIDIA.
Источник: NVIDIA dev blog ↗