Проблема масштаба AI-фабрик
AI-фабрики NVIDIA — это сложнейшие системы, где сотни тысяч GPU работают в связке через высокоскоростные сети. В таких условиях даже незначительная деградация одного компонента, например, перегрев GPU или падение производительности NVMe-накопителя под нагрузкой, может замедлить весь процесс обучения модели. Традиционные инструменты мониторинга часто изолируют данные по сетям, вычислениям и надежности, что затрудняет быстрое выявление корневых причин проблем.
Решение: Динамический граф знаний
Платформа NVIDIA Minerva решает эту проблему, создавая динамический граф знаний, который логически связывает инфраструктуру (GPU, SuperNIC, коммутаторы, кабели) с выполняемыми задачами. Платформа анализирует миллиарды точек данных в час, используя контролируемое и неконтролируемое машинное обучение. Это позволяет:
- Обучаться на нормальном поведении системы;
- Обнаруживать ранее неизвестные аномалии;
- Прогнозировать возникающие сбои;
- Коррелировать события на основе топологии фабрики.
Вместо того чтобы отправлять операторам лавину симптомов, Minerva группирует их в единичные инциденты с указанием вероятной корневой причины.
Ключевые метрики эффективности
Фокус платформы — на «выхлопе» AI-фабрики (yield), который измеряется через часы работы GPU, goodput, время безотказной работы кластера и производство токенов. Minerva помогает оптимизировать три ключевых показателя:
| Метрика | Влияние Minerva |
|---|---|
| Время между сбоями | Выявляет проблемы до их возникновения, увеличивая время непрерывной работы заданий. |
| Время на ремонт | Точно определяет проблему, значительно сокращая время на устранение инцидентов. |
| Глубина анализа | Фильтрует шум данных, оставляя только критически важные алерты для операторов. |
Интеграция с AI и партнеры
Minerva оснащена встроенным AI-ассистентом с интерфейсом на естественном языке, основанным на телеметрии в реальном времени. Операторы могут запрашивать состояние кластера и получать рекомендации по устранению неполадок в диалоговом режиме. Платформа также поддерживает интеграцию с внешними агентными AI-инструментами и API для автоматизации исправлений.
Среди первых партнеров, внедряющих Minerva для оптимизации своих AI-фабрик, такие компании, как IREN, Aolani, Bitdeer AI, IBM, Jio, Lambda, Quake AI и Tesla. Аппаратные партнеры, включая Dell Technologies, Lenovo и Supermicro, будут предлагать платформу как часть своих портфелей решений для AI-фабрик.
Источник: NVIDIA Blog ↗