Масштаб и активные параметры: от 3B до 49B
В ноябре 2026 года открытые модели Mixture-of-Experts (MoE) демонстрируют огромный разброс в архитектуре. В исследовании MarkTechPost рассмотрены модели от Qwen3.6-35B-A3B (35 млрд всего, 3 млрд активных) до гиганта DeepSeek-V4-Pro (1.6 трлн всего, 49 млрд активных). Ключевой тренд — рост числа экспертов: если в Mixtral их 8, то в Kimi K2 и DeepSeek-V4-Pro их уже 384.
Важно отметить, что названия вроде «17B active» у Llama 4 могут скрывать разные механизмы маршрутизации. Например, gpt-oss-120b (117B/5.1B) использует веса формата MXFP4, что позволяет запустить его на одной видеокарте NVIDIA A100 80GB, в то время как DeepSeek-V4-Pro требует распределенного экспертного параллелизма.
Сравнение механизмов маршрутизации
Все модели используют токено-зависимую маршрутизацию, но различаются по 5 ключевым параметрам: количеству экспертов, топ-k, общим экспертам, функции оценки и методу балансировки нагрузки. Ниже приведена сводная таблица конфигураций:
| Модель | Всего / Активные | Экспертов | Top-k | Общий эксперт | Гейтинг (Gating) | Балансировка |
|---|---|---|---|---|---|---|
| Mixtral 8x7B | 47B / 13B | 8 | 2 | Да | Softmax over top-k | Aux loss, coef 0.02 |
| gpt-oss-120b | 117B / 5.1B | 128 | 4 | Нет | Не раскрыто | Не раскрыто |
| Qwen3-235B-A22B | 235B / 22B | 128 | 8 | Нет | Softmax, top-k norm | Global-batch aux loss, 0.001 |
| Qwen3.6-35B-A3B | 35B / 3B | 256 | 8 | Да (1) | Не раскрыто | Aux loss, coef 0.001 |
| Llama 4 Maverick | 400B / 17B | 128 | 1 | Да (1) | Не раскрыто | Не раскрыто |
| DeepSeek-V3 | 671B / 37B | 256 | 8 | Да (1) | Sigmoid | noaux_tc (bias) |
| DeepSeek-V4-Pro | 1.6T / 49B | 384 | 6 | Не указано | sqrtsoftplus | noaux_tc + hash routing (3 слоя) |
| DeepSeek-V4-Flash | 284B / 13B | 256 | 6 | Не указано | sqrtsoftplus | noaux_tc + hash routing (3 слоя) |
| Kimi K2 | 1.04T / 32B | 384 | 8 | Не указано | Sigmoid | noaux_tc + sequence aux, alpha 0.001 |
| GLM-4.5 | 355B / 32B | 160 | Не указано | Не указано | Sigmoid | Loss-free balance routing |
Ключевые архитектурные решения
- DeepSeek V4: Переход на функцию
sqrtsoftplusи снижение top-k с 8 до 6 в версии Pro. Первые 3 слоя MoE используют hash routing (фиксированное отображение токен-эксперт), что упрощает вычисления, но требует точной настройки. - Llama 4 Maverick: Использует стратегию top-1 (1 общий + 1 из 128 маршрутизируемых), что напоминает архитектуру Switch Transformer. Это обеспечивает минимальные вычисления на токен, но может ограничивать емкость модели.
- Kimi K2: Исследование показало, что разреженность (sparsity) 48 требует на 69% меньше FLOPs (в 1.69 раза), чем разреженность 8, при сохранении одинаковой ошибки валидации. Это делает Kimi K2 одним из самых эффективных решений по соотношению цена/качество.
- Qwen3.6: В отличие от Qwen3, здесь возвращен общий эксперт (всего 256 маршрутизируемых + 1 общий), что может улучшать обобщение на простых задачах.
Почему это важно для деплоя
Рост числа экспертов (до 384) увеличивает объем весов в памяти и трафик all-to-all. Снижение top-k (как в DeepSeek V4) уменьшает коммуникационные накладные расходы. Наличие общего эксперта добавляет «плотный» путь, который платят все токены, что может быть узким местом при масштабировании. Разработчикам стоит внимательно проверять поля config.json перед выбором GPU: отсутствие данных о гейтинге или балансировке (как у Llama 4 и gpt-oss) делает аудит производительности сложной задачей.
Источник: MarkTechPost ↗