Проблема: QPU не вписывались в старые модели Slurm
До выхода версии 26.11 интеграция квантовых ускорителей в HPC-кластеры была фрагментирована. Существующие механизмы, такие как Generic Resources (GRES), привязывали устройство к конкретному вычислительному узлу, что делало QPU недоступным при сбое узла. Альтернатива — использование лицензий (Licenses) в связке с плагинами SPANK — имела критические недостатки:
- Простой узлов: Job мог занимать CPU/GPU узлы, ожидая доступности QPU, так как SPANK срабатывал только после аллокации.
- Отсутствие контроля: Slurm не мог отслеживать состояние QPU (калибровку, офлайн-режим), запуская задачи на неработающее устройство.
- Конфликты: Поддержка нескольких QPU от разных вендоров требовала сложных кастомных плагинов, ломающихся при обновлении Slurm.
Решение: Hierarchical Resources (HRES) в Slurm 26.11
Новый интерфейс HRES эволюционировал из концепции лицензий, но добавляет критически важную функцию: ассоциацию ресурса с конкретным набором узлов, имеющих к нему доступ. Это позволяет планировщику управлять QPU как кластерным ресурсом, но с привязкой к «шлюзам» (узлам, подключенным к QPU).
Реализация опирается на:
- resources.yaml: Хранит политики сайта, эндпоинты и список узлов, доступных к QPU.
- Lua-плагин (hres/lua): Отвечает за логику устройства, проверки здоровья (health checks) и жизненный цикл задачи. Код плагина портативен и не зависит от внутренних API Slurm.
Технические детали и метрики
Конфигурация позволяет задать цикл проверки состояния устройства. В примере от NVIDIA используется интервал в 30 секунд для мониторинга доступности QPU. Плагин выполняет три ключевые функции:
- Проверка здоровья устройства перед аллокацией.
- Адаптация запросов ресурсов (device options) в рамках задачи.
- Корректное освобождение ресурсов после завершения задачи.
Экосистема и внедрение
Открытые сообщества уже разработали плагины на базе нового API:
- QRMI (Quantum Resource Management Interface): Плагин для подключения Slurm-кластеров к квантовым бэкендам.
- QDMI (Quantum Device Management Interface): Пример для планирования очередей, управляемых провайдером.
| Метрика/Параметр | Значение/Описание |
|---|---|
| Версия Slurm | 26.11 (стабильный релиз HRES) |
| Язык реализации плагина | Lua |
| Цикл проверки здоровья (пример) | 30 секунд (настраивается в config) |
| Ключевые инициативы | QRMI, QDMI |
| Основное преимущество | Устранение простоя CPU/GPU узлов при ожидании QPU |
Почему это важно
Это шаг к созданию гибридных квантово-классических суперкомпьютеров. Ученые в химии, метеомоделировании и инженерии смогут запрашивать QPU так же просто, как GPU, через знакомые интерфейсы. Стандартизация через HRES устраняет необходимость написания кастомного кода для каждого центра, делая квантовые вычисления масштабируемыми и доступными для широкого круга исследователей.
Источник: NVIDIA dev blog ↗
