AIKraft/AI/Войти
AIKraft/Skills/distributed-llm-pretraining-torchtitan

distributed-llm-pretraining-torchtitan

Обеспечивает распределенное предобучение больших языковых моделей (LLM) на базе PyTorch с использованием torchtitan и 4D-параллелизма (FSDP2, TP, PP, CP). Применяйте при масштабном предобучении Llama 3.1, DeepSeek V3 или пользовательских моделей на 8–512+ GPU с использованием Float8, torch.compile и распределенного сохранения контрольных точек.

orchestra-research official Другое

Что делает навык

Обеспечивает распределенное предобучение больших языковых моделей (LLM) на базе PyTorch с использованием torchtitan и 4D-параллелизма (FSDP2, TP, PP, CP). Применяйте при масштабном предобучении Llama 3.1, DeepSeek V3 или пользовательских моделей на 8–512+ GPU с использованием Float8, torch.compile и распределенного сохранения контрольных точек.

Как подключить

1Скачать навык
# возьмите папку навыка «distributed-llm-pretraining-torchtitan» из репозитория: # https://github.com/orchestra-research/ai-research-skills
2Положить папку с SKILL.md к навыкам ассистента
# положите папку навыка туда, где ассистент ищет skills: cp -r distributed-llm-pretraining-torchtitan/ ~/.claude/skills/distributed-llm-pretraining-torchtitan/

Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.