microsoft/DeepSpeed

DeepSpeed v0.19.9: новые Triton-ядра для MoE и лог-вероятностей, оптимизация CPU Adam и исправления стабильности ZeRO.

• Added: Добавлены Triton-ядра для вычисления logprobs, энтропии и KL-дивергенции с vocab-параллелизмом.
• Added: В CPU Adam внедрено векторизованное FP32-ядро для архитектуры RVV.
• Added: Реализовано слитое Triton-ядро для зажатых активаций экспертов в AutoEP.
• Fixed: Исправлена численная нестабильность в Triton-реализации masked softmax.
• Fixed: Устранено падение производительности из-за ошибки в логгере коммуникаций (comms_logger).
• Fixed: В ZeRO-1/2 сохранены fp32-мастеры при восстановлении, пропускающем состояние оптимизатора.

DeepSpeed v0.19.8: новые возможности Muon и AutoEP, поддержка NPU, исправление багов ZeRO-3 и удаление устаревших модулей.

• Added: Добавлена поддержка оптимизатора Muon в BF16_Optimizer и улучшена работа с пер-хед проекциями для линейных слоев внимания.
• Added: Расширены возможности AutoTP и AutoEP: поддержка vocab-parallel LM head, оптимизация буферов DeepEP для MoE и региональная компиляция.
• Added: Реализована поддержка графовых операций и регистрация памяти для NPU (CANN runtime).
• Fixed: Исправлено падение градиентов в ZeRO-1/2 на CPU, утечка памяти в shm_initialize и проблемы с генерацией в HybridEngine OPT.
• Deprecated: Удалена поддержка APEX amp, loco zero++, sparse_gradients, legacy curriculum learning, Progressive Layer Dropping и elastic training.

Исправления ZeRO, AutoTP, Triton и профилировщика; поддержка ARM SVE, macOS MPS и Qwen3.5; оптимизации DeepEP и KV-кэша.

• Added: Добавлена поддержка архитектуры Qwen3.5 в модулях AutoTP и улучшена работа с RMSNorm.
• Added: Внедрена опциональная транспортная шина DeepEP для All-to-All в AutoEP и поддержка ARM SVE для CPU-Adam.
• Added: Добавлен CI для macOS (MPS) и улучшено профилирование этапов prefill и decode в rollout.
• Fixed: Исправлены ошибки в профилировщике FLOPS, выводе Ulysses all2all и падении Triton при длинных именах устройств.
• Fixed: Устранены проблемы с AutoTP при включенной активации, стабилизированы страбы ZeRO-3 и исправлены типы аннотаций.

DeepSpeed v0.19.6: поддержка Apple Silicon (MPS), DeepCompile, оптимизации ZeRO и исправления багов.

• Added: Включена поддержка ZeRO Stage 1-3 на Apple Silicon (MPS).
• Added: Добавлен нативный бэкенд pin_memory для ускорителей и поддержка CUDA Graphs в HybridEngine.
• Added: Развитие DeepCompile: исправления ZeRO-3, поддержка AutoTP и отключение активаций.
• Fixed: Исправлены критические ошибки ZeRO-1/2 с нулевыми параметрами, переполнение int32 и падение при универсальных чекпоинтах.
• Fixed: Уменьшено время ожидания NCCL до 10 минут и исправлено накопление метрик FlopsProfiler.

Исправления MoE, ZeRO-3, LR-планировщиков и добавлена поддержка Triton для Ampere/Ada.

• Added: Добавлена поддержка Triton grouped-GEMM для экспертов MoE на архитектурах Ampere и Ada.
• Added: Включена поддержка ZeRO stage 3 для инференса с тензорным параллелизмом (AutoTP).
• Fixed: Исправлена корректность работы MoE dispatch при использовании Tutel и тензорного параллелизма, ускорены пути вычислений.
• Fixed: Устранены ошибки в работе LR-планировщиков: сохранение тензорных скоростей обучения, фикс WarmupLR и OneCycle.
• Fixed: Исправлено слияние чекпоинтов ZeRO-3 с учетом TP и DP, а также корректная работа с выровненными параметрами.

Исправления ZeRO-3, поддержка AutoEP/AutoTP, оптимизатор Muon, Hybrid Engine для OPSD и улучшения производительности.

• Fixed: Исправлены критические ошибки ZeRO-3: корректное использование типов данных для буферов вывода, квантования и сборки при смешанных dtype, а также устранены утечки файловых дескрипторов.
• Added: Добавлена поддержка параллельного сжатия моделей через объединение AutoEP и AutoTP, а также развертывание Hybrid Engine для обучения On-Policy Distillation (OPSD).
• Fixed: Запрещено использование оптимизатора Muon с reduce_scatter в режимах ZeRO-1/2 и добавлены тесты на численную корректность.
• Added: Включена проверка переполнения градиентов для bf16 по умолчанию и добавлена настраиваемая логирование уровня движка.
• Deprecated: Объявлено об устаревании эластичных чекпоинтов в ZeRO-3.

DeepSpeed v0.19.2: поддержка Biren SUPA, автооптимизация AutoEP/SP, улучшена работа ZeRO с torch.func и исправления DeepCompile.

• Added: Добавлена поддержка ускорителя Biren SUPA и новый модуль AutoEP для автоматизации оптимизаций.
• Added: Включена поддержка трансформаций torch.func для движка ZeRO 0/1/2 и добавлен метод coalesce_grad_reduction().
• Fixed: Исправлены критические ошибки в DeepCompile (выбор кандидатов, время жизни параметров/градиентов) и ZenFlow ZeRO-3.
• Fixed: Устранены проблемы с bank conflicts в Transpose_Kernel и улучшена стабильность FP16 оптимизатора.
• Fixed: Исправлена интеграция ZenFlow Adam с новым потоком PyTorch backward и улучшена изоляция CI-тестов.