От приоритетов к временным бюджетам
Команда AI Infrastructure в Allen Institute for AI (Ai2) управляет кластерами из тысяч GPU (NVIDIA H100, B200, B300) для обучения LLM и VLM. Ранее система использовала приоритетный планировщик, где пользователи могли выбирать защиту от прерывания (preemption). Это привело к двум проблемам: «сquatting» (удержание ресурсов ради быстрого отладочного запуска) и инфляция приоритетов (когда 100% задач заявляли HIGH priority, обнуляя смысл шкалы).
Новая система заменяет приоритеты на GPU time budgets. Каждая задача должна быть оплачена из бюджета команды. Если бюджет исчерпан, задача становится прерываемой. Это переводит споры о ресурсах из операционной плоскости («дайте мне GPU прямо сейчас») в административную («сколько времени мы готовы инвестировать в этот проект в этом квартале»).
Иерархическое справедливое распределение (Fair Share)
Вместо выделения физических GPU командам, Ai2 выделяет долю времени. Это решает проблему сезонности исследований: когда одна команда завершает эксперимент, её «свободное» время автоматически перераспределяется другим, поддерживая полную загрузку (occupancy). Алгоритм использует принципы, аналогичные Hadoop Fair Scheduler и SLURM Fair Tree, но с иерархической структурой:
- Уровень проекта: Ведущий исследователь определяет приоритеты внутри проекта.
- Уровень программы: Principal Investigator распределяет ресурсы между проектами.
- Уровень института: Lead Program Manager или CEO балансируют бюджеты между программами.
Метрики эффективности
Ai2 оценивает эффективность планировщика по пирамиде из четырех метрик. Переход к бюджетной модели позволил улучшить показатель Impact (доля времени, отданного наиболее ценным задачам), не жертвуя Occupancy (долей времени, когда GPU заняты полезной работой).
| Метрика | Определение в контексте Ai2 | Влияние новой системы |
|---|---|---|
| Availability | Готовность оборудования (здоровье кластера) | Базовый уровень, не изменился |
| Occupancy | Доля времени, когда GPU назначены задаче | Выросла за счет устранения простоев из-за «сquatting» |
| Impact | Доля ресурсов, отданная высокоценным задачам | Ключевой фокус: ресурсы идут туда, где их оценили как самые важные |
| Utilization | Фактическая загрузка GPU в течение жизненного цикла задачи | Остается целью, но теперь зависит от качества планирования, а не от хитростей пользователей |
Почему это важно
Решение Ai2 демонстрирует, что в условиях дефицита вычислительных ресурсов (спрос в 2-3 раза превышает предложение) классические механизмы очередей и приоритетов терпят крах из-за человеческого фактора. Внедрение «внутренней экономики» с прозрачными бюджетами позволяет масштабировать управление кластерами без постоянного вмешательства инженеров в споры о приоритетах. Это особенно актуально для крупных лабораторий, работающих с распределенным обучением моделей.
Источник: Hugging Face blog ↗