Архитектура MoE: Как маршрутизация определяет будущее LLM

В мире больших языковых моделей (LLM) парадигма Mixture-of-Experts (MoE) перестала быть нишевой экспериментальной архитектурой. Сегодня это стандарт де-факто для создания высокопроизводительных моделей, способных обрабатывать огромные объемы данных, не требуя при этом колоссальных вычислительных ресурсов на каждом шаге генерации. Однако за фасадом единой концепции — «активация только части параметров» — скрывается хаос архитектурных решений. Модели, которые на бумаге выглядят схоже, могут кардинально различаться по эффективности, сложности развертывания и качеству вывода.

По состоянию на ноябрь 2026 года экосистема открытых MoE-моделей переживает бум. От компактных Qwen3.6-35B-A3B до гигантских DeepSeek-V4-Pro с 1.6 триллиона параметров, разработчики экспериментируют с десятками переменных. Количество экспертов варьируется от 8 до 384, количество выбираемых экспертов на токен (top-k) — от 1 до 8. Некоторые архитектуры настаивают на использовании «всегда активных» общих экспертов, другие полностью отказываются от них. Различия касаются даже базовых математических функций: от классического Softmax до Sigmoid и более сложных sqrtsoftplus.

Эта статья — не просто сводка новостей, а подробный технический анализ того, как именно работают механизмы маршрутизации в современных MoE-моделях. Мы разберем, почему выбор функции активации влияет на балансировку нагрузки, как хэш-маршрутизация меняет правила игры и что эти архитектурные решения означают для инженеров, планирующих развертывание LLM в продакшене, особенно в условиях ограничений на доступ к оборудованию из РФ. Понимание этих деталей критически важно для оптимизации затрат и достижения максимальной скорости инференса.

01Пять ключевых «ручек» настройки маршрутизации

Чтобы понять разницу между моделями, нужно рассмотреть архитектуру MoE через призму пяти основных параметров, которые разработчики настраивают при обучении. Именно эти параметры определяют, как токен попадает в конкретный «эксперт» (нейронную сеть внутри модели) и как модель предотвращает перегрузку отдельных экспертов.

Во-первых, это количество экспертов (Expert Count). Это общее число специализированных подсетей, доступных слою. Чем их больше, тем выше потенциальная емкость модели, но тем сложнее маршрутизатору найти оптимальный путь. Во-вторых, top-k — количество экспертов, которые активируются для обработки одного токена. Классический подход предполагает выбор нескольких лучших экспертов, но современные тренды показывают движение к меньшим значениям k для снижения задержек.

Третий параметр — общие эксперты (Shared Experts). Это специальные слои, которые обрабатывают каждый токен, независимо от маршрутизации. Они действуют как «якорь» для общих знаний, но создают дополнительную нагрузку на память и вычисления, так как их веса всегда находятся в активном состоянии. Четвертый — функция оценки (Scoring Function). Это математический механизм, который решает, какие эксперты подходят для данного токена. Пятый, и, возможно, самый сложный для понимания, — метод балансировки нагрузки (Load Balancing). Без него маршрутизатор склонен отправлять все токены в одни и те же «любимые» эксперты, оставляя остальные простаивать. Балансировка принудительно распределяет нагрузку.

02Эволюция DeepSeek: от Sigmoid к хэш-маршрутизации

DeepSeek является одним из лидеров в области MoE-архитектур, и их эволюция от версии V3 к V4-Pro иллюстрирует общий тренд индустрии. DeepSeek-V3 использует 256 экспертов и выбирает топ-8 из них для каждого токена. Функция оценки здесь основана на Sigmoid, что позволяет экспертам быть активными независимо друг от друга, а не только относительно друг друга, как в Softmax. Для балансировки используется метод noaux_tc (auxiliary-loss-free), который использует смещения (bias) для каждого эксперта, чтобы направлять токены, не добавляя дополнительных членов в функцию потерь во время обучения. Это упрощает процесс обучения и делает его более стабильным.

В DeepSeek-V4-Pro архитектура претерпела значительные изменения. Количество экспертов увеличилось до 384, что позволяет модели хранить больше специализированных знаний. Однако top-k был снижен с 8 до 6. Это решение направлено на сокращение объема вычислений и, что критически важно, объема коммуникации между графическими процессорами (GPU) при распределенном обучении и инференсе. Функция оценки сменилась на sqrtsoftplus, которая, как утверждается, обеспечивает более плавную градиентную поверхность.

Самым революционным изменением в DeepSeek-V4 стало внедрение хэш-маршрутизации (Hash Routing) в первых трех слоях MoE. В отличие от динамической маршрутизации, где маршрутизатор вычисляет веса для каждого токена в реальном времени, хэш-маршрутизация использует фиксированное отображение токенов в экспертов. Это радикально снижает задержку (latency) на этапе инференса, так как исключает необходимость вычисления весов маршрутизатора для каждого токена. Однако это требует тщательной настройки на этапе обучения, чтобы хэш-функция не создавала коллизий, перегружающих определенные эксперты.

DeepSeek-V4-Flash, более легкая версия, использует 256 экспертов и ту же функцию sqrtsoftplus с хэш-маршрутизацией в трех слоях, сохраняя баланс между скоростью и емкостью. Оба варианта используют метод балансировки noaux_tc, что делает семейство DeepSeek-V4 последовательным в своих архитектурных решениях.

03Стратегия Qwen: Глобальная балансировка и масштабирование

Команда Qwen демонстрирует другой подход к оптимизации MoE. В оригинальных моделях Qwen3 (например, Qwen3-235B-A22B) используется 128 экспертов с top-k=8. Ключевым отличием здесь является отказ от общих экспертов (shared experts), которые были характерны для предыдущей версии Qwen2.5-MoE. Вместо этого Qwen3 внедрил глобальную балансировку нагрузки на пакет (Global-batch aux loss) с коэффициентом 0.001. Это означает, что модель учится распределять нагрузку не только на уровне отдельного батча, но и с учетом глобальной статистики, что помогает избежать «забывания» редких экспертов.

В более новой версии Qwen3.6-35B-A3B архитектура снова изменилась. Модель увеличила количество экспертов до 256, но сохранила top-k=8. Примечательно, что в этой версии были возвращены общие эксперты (один на слой), что создает гибридную структуру: часть токенов обрабатывается через маршрутизатор, а часть — через общий плотный слой. Это может улучшать обобщающую способность модели на небольших наборах данных, но увеличивает базовую стоимость инференса, так как общие эксперты всегда активны. Коэффициент балансировки остался на уровне 0.001, что указывает на стабильность метода обучения.

04Эксперименты Llama 4 и gpt-oss: Минимализм и эффективность

Модель Llama 4 Maverick представляет собой радикальный эксперимент с минимализмом. При общем объеме в 400 миллиардов параметров, активных всего 17 миллиардов. Это достигается за счет чередования плотных (dense) и MoE слоев. В каждом MoE-слое токен обрабатывается одним общим экспертом и одним из 128 маршрутизируемых экспертов. Ключевая особенность — top-k=1. Эта архитектура перекликается с ранним дизайном Switch Transformer, где каждый токен отправляется только в одного эксперта. Такое решение минимизирует коммуникационные накладные расходы, так как каждый токен физически перемещается только на один GPU в распределенной системе. Однако, как показывают тесты, это может ограничивать способность модели к сложным рассуждениям, требующим интеграции знаний из разных «экспертных зон».

С другой стороны, gpt-oss-120b демонстрирует, как можно уместить огромную модель на одном GPU. Используя 128 экспертов и выбирая топ-4, модель достигает активного объема в 5.1 миллиарда параметров. Но главная инновация здесь — не в маршрутизации, а в квантовании. Веса MoE-слоев хранятся в формате MXFP4 (Mixed Exponent Floating Point 4-bit). Это позволяет разместить 117-миллиардную модель на одном GPU с 80 ГБ памяти (например, NVIDIA A100/H100). Маршрутизатор здесь линейный, и, в отличие от Llama 4, общие эксперты отсутствуют. Отсутствие информации о методе балансировки в публичных конфигурациях вызывает вопросы о том, как модель предотвращает перекосы нагрузки, но практическая эффективность на одном GPU делает её привлекательной для локального запуска.

05Kimi K2 и GLM-4.5: Наследие DeepSeek и компромиссы глубины

Kimi K2, разработанная компанией Moonshot AI, демонстрирует тесную связь с экосистемой DeepSeek. Модель использует тот же класс архитектуры DeepseekV3ForCausalLM и метод маршрутизации noaux_tc. Однако Kimi K2 идет дальше, увеличивая количество экспертов до 384, как и DeepSeek-V4-Pro, но сохраняя top-k=8. Технический отчет Kimi K2 выявил важную закономерность: увеличение разреженности (sparsity) до 48 (в контексте баланса параметров) привело к снижению вычислительных затрат (FLOPs) на 1.69x при сохранении того же уровня потерь валидации по сравнению с разреженностью 8. Это доказывает, что при правильном балансе можно значительно экономить ресурсы без потери качества.

GLM-4.5 от Zhipu AI выбрал иной путь. Вместо увеличения количества экспертов, модель увеличила глубину сети (количество слоев) и выбрала 160 экспертов. Это предпочтение глубины над шириной (depth over width) часто приводит к более стабильному обучению и лучшей способности к обучению сложным иерархическим представлениям. GLM-4.5 использует Sigmoid для оценки и метод балансировки без вспомогательных потерь (loss-free balance routing), что упрощает архитектуру маршрутизатора.

06Сравнительная таблица: Архитектурные различия

Для наглядности соберем ключевые параметры всех рассмотренных моделей в единую таблицу. Это поможет быстро оценить, какая архитектура подходит под ваши задачи.

Источники: конфигурационные файлы Hugging Face, технические отчеты и карточки моделей, проверенные 7 ноября 2026 года. Обратите внимание, что для Qwen3.6 и Llama 4 информация о gating отсутствует в config.json, а для gpt-oss и Llama 4 не раскрыт метод балансировки.

07Что это значит на практике: Оптимизация развертывания

Понимание этих архитектурных нюансов критически важно для инженеров по машинному обучению (MLOps) и разработчиков, планирующих развертывание моделей. Вот ключевые выводы, которые можно извлечь из сравнения.

1. Коммуникационные накладные расходы (All-to-All Traffic). В распределенных системах, где каждый эксперт находится на отдельном GPU или группе GPU, маршрутизация требует пересылки токенов между узлами. Модели с высоким top-k (например, DeepSeek-V3 с top-k=8) генерируют больше трафика all-to-all, чем модели с низким top-k (Llama 4 с top-k=1). Если ваша инфраструктура ограничена пропускной способностью сети (например, при использовании InfiniBand или Ethernet с низкой латентностью), модели с низким top-k или хэш-маршрутизацией (DeepSeek-V4) будут работать значительно быстрее и эффективнее.

2. Использование памяти и квантование. Модель gpt-oss-120b показывает, что квантование весов (MXFP4) может быть таким же важным, как и архитектура маршрутизации. Это позволяет запускать модели среднего размера (117B) на одном GPU, что недоступно для большинства других MoE-моделей без сложного шейдинга. Для локального запуска в РФ, где доступ к кластерам A100/H100 ограничен, такие оптимизации могут быть спасением.

3. Балансировка и стабильность. Методы балансировки без вспомогательных потерь (noaux_tc), используемые в DeepSeek и Kimi, упрощают обучение и могут обеспечивать более стабильную работу маршрутизатора. Однако, если метод балансировки не раскрыт (как в Llama 4 или gpt-oss), это создает риски. Вы не можете точно предсказать, как модель будет распределять нагрузку, что может привести к «горячим точкам» (hotspots) на определенных GPU в кластере, снижая общую пропускную способность.

4. Общие эксперты как двойное лезвие. Наличие общих экспертов (как в Llama 4, DeepSeek-V3, Kimi K2) обеспечивает базовый уровень производительности для всех токенов, но добавляет фиксированную вычислительную нагрузку. Если ваша задача требует максимальной скорости генерации при низкой загрузке, модели без общих экспертов (Mixtral, gpt-oss, Qwen3) могут быть предпочтительнее, так как они не тратят ресурсы на «всегда активные» слои.

08Заключение: Будущее маршрутизации

Тренд в области MoE-маршрутизации движется в сторону большей специализации (увеличение количества экспертов) и большей эффективности коммуникаций (снижение top-k, внедрение хэш-маршрутизации). DeepSeek и Kimi K2 показывают, что увеличение разреженности при сохранении качества возможно за счет более умных функций оценки и методов балансировки. Llama 4 и gpt-oss демонстрируют, что минимализм и квантование могут сделать огромные модели доступными для локального запуска.

Для разработчиков в России это означает необходимость тщательного выбора модели под доступную инфраструктуру. Если у вас есть доступ к мощным кластерам с высокой пропускной способностью сети, вы можете использовать модели с высоким top-k и сложной маршрутизацией. Если же вы работаете с ограниченными ресурсами или локальными GPU, модели с низким top-k, хэш-маршрутизацией или квантованием (как gpt-oss) будут более практичным выбором. Открытость конфигураций остается ключевым фактором: чем больше деталей раскрывает разработчик, тем проще оптимизировать модель под ваши нужды.

Эволюция MoE-архитектур только начинается. В ближайшие годы мы, вероятно, увидим еще более сложные гибридные модели, сочетающие преимущества плотных и разреженных слоев, а также новые методы балансировки, основанные на reinforcement learning. Но уже сегодня понимание этих пяти «ручек» настройки дает вам конкурентное преимущество в выборе и развертывании LLM.

Источник: MarkTechPost ↗