AIKraft/AI/Войти
AIKraft/Skills/TAO запуск на Slurm

TAO запуск на Slurm

Remote SLURM GPU cluster execution over SSH with sbatch/srun, Pyxis/Enroot containers, and Lustre-backed results. Use when running TAO training/eval/inference jobs on an on-prem or DGX SLURM cluster. Trigger phrases include

nvidia official Другое

Что делает навык

Навык обеспечивает запуск задач обучения, оценки и инференса TAO на удалённом GPU-кластере под управлением SLURM через SSH. Он автоматизирует подготовку окружения, конвертацию образов в формат Pyxis/Enroot и управление жизненным циклом задач (submit, status, logs, cancel).

Когда применять

  • Запуск распределённого обучения моделей TAO на кластере с общей файловой системой Lustre.
  • Выполнение задач инференса или оценки с использованием контейнеров Pyxis/Enroot.
  • Управление многоузловыми (multi-node) задачами с настройкой NCCL и rendezvous.
  • Мониторинг статуса и логов запущенных в SLURM задач TAO.

Как работает

  1. Выполнить preflight-проверку: убедиться в доступности SSH к login-узлу и наличии необходимых зависимостей (sbatch, srun, Enroot, Lustre).
  2. Подготовить образ: конвертировать Docker-образ в локальный .sqsh файл на CPU-партиции через enroot import, чтобы избежать затрат GPU-времени на загрузку внутри аллокации.
  3. Сформировать спецификацию: создать spec.yaml на Lustre с путями к данным и результатам, а также sidecar-файл с секретами (например, HF_TOKEN) с правами 600.
  4. Сгенерировать и проверить sbatch-скрипт: отрендерить шаблон (single-node или multi-node), запустить lint через redact_secrets.py и синтаксическую проверку bash -n.
  5. Отправить задачу: выполнить sbatch, получить SLURM_ID и записать статус RUNNING в запись задачи.
  6. Мониторить и управлять: опрашивать статус через sacct/squeue, просматривать логи через tail или отменять задачу через scancel.

Примеры запросов агенту

Запусти обучение модели TAO на кластере SLURM с использованием образа nvcr.io/nvidia/tao:latest.
Проверь статус запущенной задачи инференса с ID 12345 и выведи последние 100 строк логов.
Отмени задачу обучения на SLURM кластере, если она зависла в статусе PENDING более часа.

Что понадобится

  • Доступ к удалённому GPU-кластеру с SLURM, Lustre и SSH без пароля.
  • Установленные на кластере инструменты: sbatch, srun, Pyxis, Enroot.
  • Конфигурация ~/.config/enroot/.credentials для доступа к приватным образам nvcr.io.

Описание составлено по SKILL.md навыка, сверено 05.10.2026.

Как подключить

1Скачать навык
# возьмите папку навыка «tao-run-on-slurm» из репозитория: # https://github.com/nvidia/skills
2Положить папку с SKILL.md к навыкам ассистента
# положите папку навыка туда, где ассистент ищет skills: cp -r tao-run-on-slurm/ ~/.claude/skills/tao-run-on-slurm/

Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.