xai-org/grok-1

Что это за инструмент

Grok-1 — это открытая версия большой языковой модели (LLM) с 314 миллиардами параметров, предоставляющая исходный код на JAX для загрузки и запуска весов модели.

Зачем нужен

Инструмент предназначен для исследователей и разработчиков, желающих локально развернуть и протестировать архитектуру MoE (Mixture of Experts) на мощном GPU-оборудовании. Он позволяет изучать внутреннюю работу модели, проводить in-context learning и валидировать корректность реализации слоев без использования кастомных ядров.

Что можно реализовать

• Локальный запуск и тестирование LLM с 314B параметров на машинах с достаточным объемом GPU-памяти
• Исследование архитектуры Mixture of Experts (MoE) и механизма активации 2 экспертов на токен
• Валидация корректности реализации модели через пример кода на JAX
• Эксперименты с 8-битной квантованием и активационным шардингом для оптимизации ресурсов
• Генерация текстовых ответов на тестовых входах с использованием контекстного окна до 8192 токенов

Ключевые возможности

• Архитектура Mixture of Experts (MoE) с 314B параметров и 64 слоями
• Поддержка 8-битной квантования и активационного шардинга
• Контекстное окно (sequence length) до 8,192 токенов
• Лицензия Apache 2.0 на исходный код и веса модели
• Реализация на JAX с использованием SentencePiece токенизатора (131,072 токенов)

👤 Кому подойдёт: Исследователи, ML-инженеры и разработчики, имеющие доступ к высокопроизводительному GPU-оборудованию и интересующиеся внутренней архитектурой больших языковых моделей.