deepseek-ai/DualPipe

Что это за инструмент

DualPipe — алгоритм двунаправленного конвейерного параллелизма для обучения моделей DeepSeek V3/R1, обеспечивающий полное перекрытие вычислений и коммуникаций.

Зачем нужен

Инструмент решает проблему простоя вычислительных ресурсов (pipeline bubbles) при распределенном обучении больших моделей. Он позволяет полностью перекрыть фазы прямого и обратного распространения с коммуникацией, что значительно ускоряет процесс обучения.

Что можно реализовать

• Обучение больших языковых моделей DeepSeek V3 и R1 с использованием конвейерного параллелизма
• Оптимизация времени обучения за счет минимизации простоев между этапами forward и backward
• Снижение задержек при синхронизации весов между узлами кластера
• Использование оптимизированного расписания DualPipeV для сокращения количества необходимых устройств

Ключевые возможности

• Полное перекрытие фаз вычислений и коммуникаций (computation-communication overlap)
• Наличие оптимизированного расписания DualPipeV (V-shape schedule) от Sea AI Lab
• Существенное сокращение pipeline bubbles по сравнению с методами 1F1B и ZB1P
• Снижение требований к количеству устройств при использовании DualPipeV (в 2 раза меньше для того же числа PP stages)
• Открытый исходный код на PyTorch 2.0+

👤 Кому подойдёт: Исследователи и разработчики, занимающиеся обучением больших языковых моделей (LLM) и оптимизацией распределенных вычислительных кластеров.