Архитектура и ключевые характеристики
Muse Spark Open — это первая в линейке Muse модель с архитектурой Mixture-of-Experts (MoE) масштаба frontier. Модель разработана специально для агентного программирования: она умеет читать кодовые базы, писать и отлаживать код, а также взаимодействовать с инструментами. В отличие от предыдущей модели Muse Glimmer (плотная модель для локального запуска), Spark Open обрабатывает сложные многофайловые рефакторинги и длинные сессии отладки.
Ключевая особенность — разделение вычислительной нагрузки. Хотя модель содержит ~816 млрд параметров, для обработки каждого токена активируется только ~42 млрд. Это достигается за счет роутера, который выбирает 8 из 256 экспертов в каждом слое. Все 256 экспертов остаются в памяти, что требует ресурсов уровня 816B-модели, но обеспечивает скорость вычислений, сопоставимую с 42B-моделями.
Мультимодальность и контекст
Модель принимает на вход текст, изображения, аудио и видео. Для обработки визуальных данных используется Perception Encoder (1.8 млрд параметров), а для аудио — специализированный энкодер, генерирующий 12.5 токенов в секунду (один токен на 80 мс аудио). Окно контекста составляет до 1 048 576 токенов, включая все модальности. Благодаря Grouped-Query Attention (GQA) кэш KV для полного контекста в BF16 занимает около 266 ГБ.
Технические детали и форматы весов
Meta предоставляет два формата чекпоинтов, оптимизированных под разные аппаратные конфигурации. Выбор формата критичен для развертывания:
| Характеристика | Muse-Spark-Open-816B-A42B (BF16) | Muse-Spark-Open-816B-A42B-NVFP4 |
|---|---|---|
| Точность весов | BF16 (16-bit) | NVFP4 (4-bit, для NVIDIA Blackwell) |
| Размер чекпоинта | ~1.5 TB (safetensors) | Значительно меньше (сжатие) |
| Рекомендуемое железо | 4 узла по 8 GPU H200 (TP=32) | 1 узел с GPU B200 |
| Активные параметры/токен | ~42B | ~42B |
Интеграция и запуск
Модель доступна через библиотеку transformers с классом MuseSparkForConditionalGeneration. Поддерживается распределенное обучение и инференс через DistributedConfig, где можно настроить параллелизм по тензорам (tp_size) и распределение экспертов (ep_size). Также доступны рецепты для запуска через llama.cpp, vLLM и SGLang.
Важно отметить: функция «рассуждения» (reasoning) в Muse Spark Open отключена быть не может. Пользователь может выбрать уровень усилий (low, medium, high, xhigh), что соответствует внутренним целочисленным значениям 16, 64, 256, 512. Для экономии ресурсов при текстовом инференсе рекомендуется устанавливать уровень «low».
Источник: Hugging Face blog ↗