AIKraft Agents

DeepSeek V3 JAX

Реализация архитектуры DeepSeek V3 на чистом JAX с поддержкой MLA и MoE.

ПрограммированиеБесплатно
Разработчик: github.com ↗Категория: ПрограммированиеОбновлено: 16.11.26

Что это

Проект Vaibhaav-Tiwari/deepseek-v3-jax представляет собой компактную реализацию архитектуры модели DeepSeek V3, написанную на 190 строках кода на языке JAX. В коде не используются сторонние фреймворки вроде Flax, Equinox или PyTorch: параметры хранятся в виде словарей массивов, а вся логика модели описана функциями.

В реализации воспроизведены ключевые технические особенности оригинальной модели: Multi-Head Latent Attention (MLA), архитектура DeepSeekMoE, балансировка без вспомогательных потерь (aux-loss-free balancing) и Multi-Token Prediction (MTP). Код позволяет изучать внутреннее устройство модели в читаемом виде.

Проект демонстрирует возможность обучения модели с нуля на обычном ноутбуке MacBook Air. Автор использует публичные датасеты, такие как детективная проза, для демонстрации процесса претрейнинга. Это служит образовательным примером оптимизации вычислений и работы с памятью.

Репозиторий содержит полный набор файлов для запуска: скрипты подготовки данных, обучения (train.py), генерации (sample.py) и тестирования. Лицензия MIT позволяет свободно использовать код в коммерческих и личных проектах.

Разработчикам и исследователям, интересующимся архитектурой LLM, оптимизацией нейросетей и возможностями JAX. Также полезно для тех, кто хочет понять, как реализуются сложные механизмы внимания и экспертных систем (MoE) в коде без абстракций высокоуровневых библиотек.