Современные AI-фабрики — это, пожалуй, самые технологически сложные операционные среды, когда-либо созданные человеком. Представьте себе инфраструктуру, где сотни тысяч GPU, сети NVIDIA Spectrum-X, масштабируемые fabrics уровня scale-up (NVLink) и scale-out, распределенные планировщики и многодневные тренировки моделей работают в непрерывном, синхронизированном ритме. В такой системе каждый компонент должен функционировать как единое целое, даже если за разные слои отвечают разные команды. Однако в синхронизированном распределенном обучении скорость работы всего задания определяется самым медленным узлом (rank). Один деградировавший GPU, один проблемный интерфейс сети или один «тормозящий» диск хранения может свести на нет часы полезной работы сотен здоровых ресурсов.
Проблема усугубляется тем, что самые вредные для производительности сбои часто бывают неочевидными. GPU может работать на несколько градусов горячее соседей, NVMe-накопитель может терять производительность только под длительной нагрузкой, а коммутатор может генерировать шторм паузных кадров (pause-frames), который выглядит как десятки unrelated симптомов. Ни один из этих сигналов сам по себе не пересекает жестких пороговых значений, но вместе они создают «стрэгглеров» (отстающих узлы), увеличивают время шага обучения и задерживают сохранение чекпоинтов. Диагностика усложняется тем, что доказательства разбросаны по разным командам: сетевые инженеры видят счетчики интерфейсов, операторы вычислений — здоровье узлов, а ML-инженеры — изменение времени шага. Без единой картины триаж превращается в цепочку поисков по дашбордам и перекладывания ответственности, что может стоить кластеру часов или даже дней простоя.
Именно для решения этих проблем NVIDIA представила Minerva — платформу AIOps, созданную с учетом топологии AI-фабрик и специфики рабочих нагрузок. В этой статье мы подробно разберем, как Minerva собирает телеметрию, строит динамические графы знаний, применяет машинное обучение для выявления скрытых аномалий и превращает шум оповещений в понятные, actionable инциденты.
01Почему традиционный мониторинг ломается на масштабе AI-фабрик
Классический rule-based мониторинг опирается на простую логику: если известная метрика пересекает известный порог, значит, возникла известная проблема. Этот подход отлично работает для явных сбоев, когда компонент полностью отключается. Однако он терпит крах при так называемых «серых сбоях» (gray failures). В таких случаях компонент остается доступным, но его производительность или стабильность постепенно ухудшается, и проблема проявляется только под нагрузкой или в сравнении с другими узлами. Абсолютные пороги часто пропускают такие сдвиги, а слишком агрессивные настройки генерируют ложные срабатывания во время нормальных изменений рабочей нагрузки, заставляя инженера на дежурстве (on-call) гадать, какое отклонение действительно важно.
Масштаб добавляет проблему усиления шума. Один физический сбой может породить цепочку событий: ошибки интерфейсов, получение паузных кадров (RX pause frames), индикаторы перегрузки, изменения утилизации GPU и замедление прогресса заданий. Эти наблюдения описывают одну и ту же цепь зависимостей, но отдельные дашборды или системы оповещения представляют их как независимые события. Инженер получает лавину алертов и вынужден вручную коррелировать их, отделяя сигнал от шума, чтобы найти корневую причину. Для операционных команд единицей, имеющей значение, является рабочая нагрузка (job). Им нужно знать: какое задание затронуто, какие ресурсы оно занимает, где эти ресурсы находятся в физической и логической топологии, и как текущее поведение отличается от здорового базиса. Без этого контекста дашборд с «зелеными» компонентами может сосуществовать с плохой пропускной способностью заданий, не давая никакого объяснения.
02Построение живой модели инфраструктуры и заданий
Решение этих вызовов требует сквозной видимости (end-to-end visibility) по всей AI-фабрике. NVIDIA Minerva собирает метрики, логи и данные о топологии со всех уровней стека: от GPU, коммутаторов Spectrum-X и NVLink, SuperNIC и DPU до систем хранения, сетевого стека NVIDIA NCCL, планировщиков и самих AI-приложений. Ключевым элементом здесь является автоматическое обнаружение (auto-discovery), которое предоставляет связи, отсутствующие в сырой телеметрии.
В результате формируется граф знаний (knowledge graph), который отображает инфраструктуру, планировщик и элементы рабочих нагрузок, обновляя эти связи по мере изменения среды. Этот граф может охватывать несколько дата-центров и поддерживать навигацию как от общего вида фабрики, так и до отдельного интерфейса. Именно топологический граф меняет путь расследования. Начиная с аномального интерфейса, оператор может идентифицировать его узел, путь fabric, текущее размещение заданий и соседние компоненты в той же зоне отказа. Начиная с ID задания, ML-инженер может проследить нагрузку через GPU, хост, NIC, коммутатор и логи. Сетевые и вычислительные команды могут начать с инфраструктурного события и увидеть затронутые задания, или наоборот — увидеть проблемное задание и исследовать причину. Все работают с одной и той же актуальной картой причинно-следственных связей, а не сводят воедино разрозненные инвентаризации.
03Обнаружение «серых сбоев» с помощью специализированного ML
NVIDIA Minerva обрабатывает миллиарды точек метрик и логов в час, используя модели машинного обучения, разработанные специально для инфраструктуры и рабочих нагрузок AI-фабрик. Платформа использует как контролируемые (supervised), так и неконтролируемые (unsupervised) модели.
Контролируемое обнаружение идентифицирует известные критические шаблоны ошибок и может связывать распознанные условия с конкретными рекомендациями по устранению. Неконтролируемые модели покрывают поведение без заранее заданных сигнатур. Они изучают нормальные паттерны для аппаратного или логического компонента и сравнивают их с релевантными «собратьями» (peers).
Сравнение с пиками (peer comparison) имеет решающее значение, потому что измерение может выглядеть приемлемым изолированно, но быть аномальным в контексте. Устойчивые ошибки на сетевом интерфейсе могут казаться нормальными сами по себе, но в сравнении с другими интерфейсами они выделяются как аномальные. Температура GPU может оставаться в пределах спецификации, но работать значительно горячее соседних GPU при той же нагрузке. Многомерные модели могут комбинировать температуру, питание, тактовые частоты, утилизацию и состояние рабочей нагрузки, чтобы обнаружить деградацию до того, как компонент выйдет из строя полностью.
Логи получают аналогичную обработку. Обнаружение аномалий на основе NLP выявляет ранее невиданные паттерны, в то время как контролируемое сопоставление идентифицирует известные критические ошибки. Результат обнаружения может передаваться в рабочие процессы планировщика, чтобы затронутый узел был выведен из эксплуатации (drained) до того, как на него попадет новое задание, или в безопасный момент между чекпоинтами.
04Свертывание штормов событий в действенные инциденты
Обнаружение — это только половина дела. Вторая половина — это понимание того, как события связаны между собой. Корреляционный движок NVIDIA Minerva использует граф знаний для определения того, какие события разделяют путь зависимостей. downstream-симптомы (последующие симптомы) затем группируются в один инцидент, вместо того чтобы конкурировать за внимание оператора.
Результатом является уменьшение шума оповещений и увеличение контекста. NVIDIA Minerva может сводить избыточные события и связанные серии метрик в один сигнал, к которому приложены затронутая топология и рабочие нагрузки. Тестирование NVIDIA показывает значительное снижение количества уведомляемых событий и тикетов для поддерживаемых сценариев. Операторам все еще нужно определять корневую причину, но они начинают с гораздо меньшего пространства поиска. Как только Minerva создает инцидент с высокой степенью уверенности, команды могут потреблять его через UI платформы или существующие рабочие процессы.
05Агентный отладка: Sherlock и MCP
Скоррелированные доказательства все еще требуют интерпретации. Для этого NVIDIA Minerva включает встроенного AI-агента по имени Sherlock. Он «заземлен» (grounded) в живой телеметрии и графе знаний, что позволяет операторам задавать вопросы на естественном языке: почему конкретное задание замедлилось в определенный интервал, какие компоненты изменили состояние, или есть ли у других узлов та же зона отказа.
Sherlock позволяет командам сетевой операционной деятельности, вычислительных операций и SRE проводить анализ корневых причин (RCA) на человеческом языке. Он может представлять подтверждающие доказательства и рекомендовать меры по устранению, не требуя от каждого оператора знания точной метрики, дашборда или языка запросов. Это дает менее опытным операторам доступ к знаниям, которые традиционно требовали эскалации специалисту. Его ценность в рабочем процессе зависит от предоставляемых доказательств: рекомендация всегда ведет обратно к телеметрии и топологии, которые ее поддерживают.
Кроме того, MCP-сервер NVIDIA Minerva позволяет внешним агентным инструментам запрашивать тот же операционный контекст. Команды могут интегрировать живые данные AI-фабрики в свои собственные рабочие процессы. Митигация может оставаться под контролем человека, или выбранные действия могут быть автоматизированы в соответствии с локальной политикой и риском действия.
06Реальные кейсы из AI-фабрик NVIDIA
Теория — это хорошо, но давайте посмотрим на то, как Minerva работает в реальных сценариях. NVIDIA поделилась несколькими примерами из своих внутренних дата-центров, где платформа продемонстрировала свою эффективность.
1. Обнаружение деградации одного канала в фабрике с 400 000 интерфейсов
В крупном AI-дата-центре, где одновременно запускалось множество многоузловых заданий обучения, инженер SRE заметил, что время шага (step time) одного задания медленно ухудшается. Не было жесткого сбоя, не было алерта и не было очевидной причины. Ручное отслеживание потребовало бы часов триажа по GPU, коммутаторам NVLink, SuperNIC и сетевому fabric, в то время как задание продолжало сжигать GPU-часы с пониженной пропускной способностью.
Вместо этого Full Stack AIOps Debugging от NVIDIA Minerva принял телеметрию со всех уровней топологии рабочей нагрузки. Обнаружение аномалий выявило один NVLink-канал из примерно 400 000 интерфейсов, который тихо терял пропускную способность. Затем система связала этот коммутатор NVLink с заданиями обучения, трафик которых через него проходил. Теперь, увидев в одном представлении UI отказавший канал, затронутые задания и их место в иерархии дата-центра, инженеры вывели узлы из эксплуатации, перепланировали задания, изолировали канал для ремонта и вернули задания к полной скорости. Проблема была поймана до того, как она распространилась по кластеру, диагностирована за минуты вместо часов, а goodput (полезная пропускная способность) и производство токенов остались на высоком уровне.
2. Проактивное обслуживание SuperNIC
Узел GPU зафиксировал одну строку в логах: ошибку оборудования, сообщенную прошивкой платформы (APEI, источник ошибки 5). Это была ошибка уровня PCIe на пути SuperNIC узла. Ошибка была настолько редкой, что ни одно статическое правило или порог не смогли бы ее поймать, и она не сопровождалась отказом задания или жалобой клиента.
Обнаружение редких аномалий в логах в реальном времени от NVIDIA Minerva отметило сообщение как редкое, ранее не виданное событие. Платформа отправила алерт в канал Slack команды операций кластера. Вместе с алертом Minerva объяснила, что означает ошибка, и изложила пошаговые рекомендации по устранению, начиная с контекста ошибки и логов системы, которые нужно проверить. Инженер на дежурстве подтвердил неисправность и удалил узел из пула распределения до того, как на него попала рабочая нагрузка клиента. Это спасло сотни GPU-часов, которые были бы потеряны на упавших и перезапущенных заданиях.
3. Стрэгглер-задание из-за сбоя питания NVMe
Команда операций пыталась объяснить, почему несколько заданий обучения работали медленнее ожидаемого. Замедление указывало на узлы-стрэгглеры, но не на причину. Дашборд полного цикла RCA от NVIDIA Minerva проследил проблему до одного хоста, логи которого показали сбой устройства NVMe. Диск не мог проснуться из состояния низкого энергопотребления. Узел потерял доступ к хранилищу, что вызвало серию ошибок записи I/O, которые тянули вниз каждое задание, работающее на нем. После подтверждения корневой причины команда вывела узел из эксплуатации и отправила неисправное оборудование на RMA. Исправление спасло оценочные 5 530 часов времени выполнения заданий.
4. Шторм паузных кадров (Pause-frame storm)
Проблема с коммутатором привела к появлению RX pause frames, скачкам утилизации GPU и тысячам серий метрик. Инцидент проявился как до 81 шумного события. Алерты приходили от множества устройств, но ни одно из них не объясняло замедление. Причиной была ошибка ошибки страницы (page fault error), которая заставила сетевой коммутатор перезагрузиться. Перезагрузка вызвала перегрузку, которая распространилась по fabric, с распространением RX pause frames между коммутаторами, повторными отключениями каналов и скачками аномалий температуры и утилизации GPU.
Топологически-осведомленная корреляция NVIDIA Minerva связала 81 отдельное событие и аномалию с затронутым заданием и отправила их команде как один инцидент. Обработка его как одного инцидента вместо 81 сократила время на ремонт и сэкономила около 54 часов общего времени простоя кластера.
07Что это значит на практике
Внутренние тестирования NVIDIA показывают увеличение среднего времени между прерываниями (MTBI) благодаря проактивному обслуживанию, а также снижение среднего времени восстановления (MTTR) за счет автоматизированного анализа корневых причин. Это приводит к увеличению эффективных GPU-часов за счет минимизации простоев. Для организаций, строящих или эксплуатирующих AI-фабрики, это означает переход от реактивного «тушения пожаров» к проактивному управлению ресурсами.
Важно отметить, что NVIDIA Minerva разрабатывается в согласовании с NVIDIA DSX OS. Платформа повторно использует и планирует интегрировать определенные компоненты здоровья и устойчивости DSX OS, такие как NVIDIA Attribution. Возможности NVIDIA Minerva, начиная с сборщика данных, станут открытыми частями DSX OS. Это обеспечивает модульный фундамент телеметрии, согласованный с эталонными архитектурами NVIDIA, сохраняя при этом наблюдаемость, аналитику и автоматизацию как композиционные элементы.
По мере роста масштаба и сложности AI-фабрик разрыв между традиционным мониторингом и операционной реальностью расширяется. NVIDIA Minerva заполняет этот разрыв, объединяя телеметрию по GPU, сети, хранению и рабочим нагрузкам, обеспечивая сквозную наблюдаемость для обнаружения тонких деградаций, которые пропускают статические пороги. Сворачивая шумные штормы событий в одни действенные инциденты и позволяя проводить агентный отладку через разговорный AI, NVIDIA Minerva превращает триаж из часов межкомандных перекладываний в минуты управляемых действий. Для инженеров, работающих с большими моделями, это не просто удобство, а необходимость для сохранения рентабельности вычислений.
Источник: NVIDIA Developer ↗