Проблема «узкого горлышка» планировщика
GPU-кластеры стали критической инфраструктурой для ИИ и научных вычислений, но их высокая стоимость и дефицит ресурсов приводят к долгим очередям. Традиционные системы мониторинга, работающие с частотой в секунды или минуты, фиксируют только уровень загрузки на уровне задач (job-level), игнорируя внутреннюю динамику использования самих чипов. Это создает иллюзию полной загрузки, скрывая реальные возможности для оптимизации.
Методология: 100 мс и 7 399 задач
Команда исследователей (Andrew Sheinberg, Samyak Gupta, Kai Li) развернула легковесный инструмент мониторинга на базе библиотеки Nvidia DCGM на университетском кластере, состоящем из 89 узлов и 319 GPU. Сбор данных велся в течение нескольких месяцев, но в фокусе анализа — период в 10 дней, в течение которого 150 пользователей из 12 департаментов выполнили 7 399 задач. Ключевое отличие подхода — фиксация метрик «compute utilization» с интервалом 100 миллисекунд.
Ключевые находки: пустота в середине
Детальный анализ выявил три фундаментальные проблемы, которые невозможно заметить при стандартном мониторинге:
- Колоссальная недоиспользованность памяти: более 70% всех задач используют менее 20% доступной видеопамяти GPU.
- Нулевая вычислительная загрузка: 50% задач в среднем используют менее 5% Streaming Multiprocessor (SM) — основных вычислительных блоков NVIDIA.
- Разрыв во времени: 80% задач имеют резкое несоответствие между запрошенным и фактическим временем выполнения, что парализует эффективность планировщика.
Данные в цифрах
Сравнение заявленных и фактических параметров задач демонстрирует масштаб неэффективности:
| Метрика | Показатель | Значение |
|---|---|---|
| Доля задач с низкой загрузкой памяти | > 70% | Используют < 20% VRAM |
| Доля задач с низкой вычислительной нагрузкой | 50% | SM Utilization < 5% |
| Задачи с несовпадением длительности | 80% | Запрошенное время ≠ Фактическое |
| Характер коммуникации (Multi-GPU) | — | Высокопериодические паттерны |
Почему это важно для индустрии
Результаты исследования доказывают, что значительный прирост утилизации (utilization gains) возможен не за счет покупки нового оборудования или оптимизации самих нейросетей, а через улучшенное планирование задач (scheduling) и GPU-мультизадачность. Авторы подчеркивают концепцию «plenty of room in the middle» — огромные ресурсы теряются именно в промежуточных состояниях, которые не видны при грубом мониторинге. Инструмент мониторинга уже доступен как open-source решение, что позволяет другим организациям провести аналогичный аудит своих кластеров.
Источник: arXiv cs.AI ↗