AIKraft/AI/Войти
AIKraft/Skills/NeMo mBridge (производительность): стратегии параллелизма

NeMo mBridge (производительность): стратегии параллелизма

Operational guide for choosing and combining parallelism strategies in Megatron Bridge, including sizing rules, hardware topology mapping, and combined parallelism configuration.

nvidia official Другое

Что делает навык

Навык предоставляет практическое руководство по выбору и комбинированию стратегий параллелизма (TP, PP, DP, CP, EP) в Megatron Bridge для оптимизации производительности. Он помогает определить конфигурацию на основе размера модели, топологии оборудования и длины последовательности, а также рассчитывает минимальное количество необходимых GPU.

Когда применять

  • Подбор начальных значений параллелизма для плотных моделей (Dense) в зависимости от их размера (от <1B до 175-500B).
  • Настройка конфигурации для MoE-моделей с учетом активного числа параметров и количества экспертов (например, DeepSeek-V2, Qwen3).
  • Расчет минимального количества GPU для запуска конфигурации с учетом перекрытия mesh-топологий плотного и экспертного путей.
  • Оценка потребления памяти на GPU для заданных размеров параллелизма и параметров модели.

Как работает

  1. Определите тип модели (Dense или MoE) и ее размер, чтобы выбрать стартовую точку из таблицы рекомендаций.
  2. Учитывайте топологию оборудования: держите TP в пределах одного домена NVLink, используйте PP/DP для масштабирования между узлами.
  3. Настройте параметры последовательности: добавьте SP для длины 2K-8K, CP=2 для 8K-32K, CP=4-8 для 32K+.
  4. Рассчитайте минимальное количество GPU по формуле min_gpus = PP * max(TP * CP, EP * ETP), избегая ошибочного перемножения всех измерений.
  5. Задайте значения в конфигурации (например, cfg.model.tensor_model_parallel_size) и инициализируйте параллельные группы через parallel_state.initialize_model_parallel.
  6. Проведите профилирование первой итерации для проверки памяти и коммуникаций, так как таблицы являются эвристиками.

Примеры запросов агенту

Какая конфигурация параллелизма подходит для плотной модели размером 70B на 64 GPU?
Рассчитай минимальное количество GPU для MoE-модели с PP=4, TP=1, EP=32 и CP=1.
Как настроить Context Parallelism для последовательности длиной 16K в Megatron Bridge?

Что понадобится

  • Доступ к репозиторию skills (включая docs/parallelisms.md и card.yaml)
  • Среда выполнения NVIDIA NeMo / Megatron Bridge
  • Оборудование с поддержкой NVLink и InfiniBand/Ethernet

Описание составлено по SKILL.md навыка, сверено 05.10.2026.

Как подключить

1Скачать навык
# возьмите папку навыка «nemo-mbridge-perf-parallelism-strategies» из репозитория: # https://github.com/nvidia/skills
2Положить папку с SKILL.md к навыкам ассистента
# положите папку навыка туда, где ассистент ищет skills: cp -r nemo-mbridge-perf-parallelism-strategies/ ~/.claude/skills/nemo-mbridge-perf-parallelism-strategies/

Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.