Архитектура и ключевые характеристики
Muse Spark Open — это модель с архитектурой Mixture-of-Experts (MoE), специально разработанная для сложных задач агентного программирования. В отличие от стандартных моделей, она способна удерживать в контексте весь проект, включая тысячи файлов и сложные зависимости, благодаря окну в 1 миллион токенов. Модель использует 1.8B параметров для мультимодального восприятия (текст, изображения, видео, аудио) и активирует только 42B из 816B параметров на каждый токен через маршрутизацию top-8 по 256 экспертам.
| Параметр | Значение |
|---|---|
| Общее число параметров | 816B |
| Активные параметры на токен | 42B |
| Контекстное окно | 1,000,000 токенов |
| Количество экспертов | 256 |
| Мультимодальность | Текст, изображения, видео, аудио |
| Формат весов | NVFP4 (оптимизировано для Blackwell Ultra) |
Производительность на NVIDIA GB300 NVL72
Модель протестирована на сервере NVIDIA GB300 NVL72, который объединяет 72 GPU Blackwell Ultra в единую систему с пропускной способностью NVLink 130 ТБ/с. Это критически важно для MoE-моделей, так как позволяет эффективно распределять нагрузку между экспертами без узких мест в сети. Благодаря оптимизации весов в формате NVFP4 и использованию специкулятивного декодирования, достигнуты следующие метрики:
- До 50 000 токенов в секунду на GPU при агентных нагрузках.
- До 600 токенов в секунду на пользователя, что обеспечивает низкую задержку для интерактивных сессий.
- Снижение стоимости за токен за счет уменьшения объема перемещаемых данных и увеличения размера KV-кэша.
Агентные возможности и инструменты
Muse Spark Open спроектирована для многошаговых рабочих процессов. Она умеет планировать задачи, вызывать инструменты (tool calling), координировать субагентов и самостоятельно исправлять ошибки. Модель поддерживает веб-поиск с мультимодальным просмотром и управление компьютером (computer use) на десктопах, мобильных устройствах и в браузере. Перед каждым действием агент генерирует комментарий, объясняющий логику, что повышает прозрачность для разработчиков.
Инфраструктура развертывания
Для запуска модели NVIDIA предлагает несколько стеков инференса: SGLang, vLLM и TensorRT LLM. В частности, TensorRT LLM с использованием NVIDIA Dynamo позволяет разделять пулы GPU для префилла и декодирования, а также маршрутизировать запросы с учетом состояния KV-кэша. Для дообучения (fine-tuning) доступны библиотеки NeMo AutoModel и Megatron Bridge, поддерживающие Hugging Face чекпоинты и масштабируемые от одного узла до кластера.
Источник: NVIDIA dev blog ↗