datawhalechina/diy-llm

Что это за инструмент

Diy-LLM — это образовательный проект от Datawhale, представляющий собой пошаговое руководство по созданию больших языковых моделей (LLM) с нуля, от токенизации до обучения и оптимизации.

Зачем нужен

Инструмент решает задачу системного освоения внутренней механики LLM через практику, а не только теорию. Он полезен тем, кто хочет понять, как работают компоненты модели (Transformer, MoE, распределенное обучение), и получить инженерный опыт настройки и обучения нейросетей на реальных данных.

Что можно реализовать

• Самостоятельное изучение архитектуры LLM и написание кода для токенизаторов, оптимизаторов и базовых архитектур моделей.
• Оптимизация производительности обучения: реализация FlashAttention-2, настройка распределенного обучения (ZeRO, FSDP) и работа с CUDA/Triton.
• Подготовка данных для pre-training: фильтрация, дедупликация (MinHash) и обработка сырых датасетов.
• Проведение экспериментов по Scaling Laws для прогнозирования эффективности моделей разного размера.
• Реализация этапов SFT, RLHF (GRPO) и оценка качества моделей через бенчмарки (MMLU, HumanEval).

Ключевые возможности

• Полный цикл разработки: от предобработки данных и токенизации до инференса, квантования и мульти-модальности.
• Глубокая системная оптимизация: уроки по GPU-программированию, распределенным вычислениям и снижению потребления памяти.
• Актуальные методы обучения: поддержка современных подходов, таких как MoE (DeepSeekMoE), GRPO и RLVR.
• Локализация и практическая направленность: материалы адаптированы для китайских разработчиков с учетом доступных ресурсов и популярных моделей (Qwen, DeepSeek).
• 6 практических заданий с подробным разбором кода и мыслительного процесса, а не просто готовыми скриптами.

👤 Кому подойдёт: ML-инженеры, исследователи в области NLP, разработчики, желающие углубиться в архитектуру LLM, и студенты, изучающие глубокое обучение на практике.