Компания NVIDIA опубликовала детали внутренней системы AI Factory Operations Agent, разработанной для автоматизации операций в дата-центрах. Решение позволяет инженерам по надежности (SRE) сократить ручную работу по диагностике сбоев в кластерах NVIDIA DGX SuperPOD. Система использует команду специализированных AI-агентов, которые взаимодействуют через Model Context Protocol (MCP) для корреляции причин отказов на уровнях вычислений, сети, оборудования и планировщика.
Архитектура и стек технологий
Решение построено на базе NVIDIA NemoClaw и NVIDIA OpenShell. Ключевая особенность — полная локальность: инференс моделей происходит on-premises с использованием открытых моделей NVIDIA Nemotron. Система развернута на производственных кластерах DGX H100, DGX B200 и DGX GB300. Архитектура модульная: пользовательский интерфейс отправляет запросы в NemoClaw, который маршрутизирует их к нужному доменному агенту через плагины OpenClaw.
Специализированные агенты
Внутреннее развертывание NVIDIA включает шесть ключевых агентов, каждый из которых отвечает за свой слой инфраструктуры. Они интегрируются с существующими инструментами мониторинга и управления:
| Агент | Функциональность |
|---|---|
| Job Recovery | Обнаруживает сбои тренингов и падение goodput, проводит анализ причин на всех слоях и рекомендует шаги восстановления. |
| Hardware | Триаж аппаратных сбоев: ошибки PCIe, ECC, GPU, NVMe и тепловые аномалии с точностью до компонента. |
| Observability | Запрос данных из Prometheus, Loki и Grafana для динамического создания дашбордов прямо в интерфейсе. |
| Research | Поиск по документации (NVIDIA Mission Control, DGX SuperPOD) и пользовательским runbooks. |
| Kubernetes | Read-only доступ к состоянию подов, сервисов, GPU-ресурсов и нод. |
| Cluster Management | Взаимодействие с API NVIDIA Base Command Manager для диагностики и управления. |
Безопасность и контроль
Для обеспечения безопасности NVIDIA внедрила строгие ограничения. Агент не имеет прямых прав на выполнение команд в продакшене. Вместо этого используется NVIDIA OpenShell, который создает изолированные Kubernetes-песочницы на уровне ядра. Проверка прав осуществляется через инструмент run_kubectl с привязанными read-only учетными данными. Например, агент может проверять доступ к подам, но не может их создавать или обновлять, что исключает риск случайного изменения рабочей нагрузки.
Ключевые выводы для внедрения
Опыт NVIDIA выделяет пять принципов успешного внедрения AI-агентов в дата-центры:
- Четкие границы: Избегайте перекрытия обязанностей агентов, чтобы снизить шум.
- Read-only first: Сначала доверие через безопасное расследование, затем автоматизация.
- Кросс-слойная корреляция: Объединение сигналов от workload, hardware и network для поиска скрытых причин.
- Точные MCP-инструменты: Четкие определения инструментов улучшают маршрутизацию запросов.
- Прозрачность: SRE должны видеть цепочку рассуждений и доказательства перед принятием решения.
Код фреймворка и пример развертывания AI Factory Operations Agent доступны в открытом доступе на GitHub, что позволяет другим организациям адаптировать решение под свои кластеры.
Источник: NVIDIA dev blog ↗