Почему маршрутизация — это узкое горлышко MoE
В моделях типа Mixture-of-Experts (MoE) каждое токено проходит через процесс принятия решения: какой подмножество экспертов его обработает. От качества роутера зависят баланс нагрузки, стоимость инференса и качество генерации. Например, Mixtral 8x7B предоставляет доступ к 47B параметров, но активирует только 13B. В мульти-GPU среде выбор роутера превращается в проблему all-to-all сетевого трафика, где задержка маршрутизации может стать критичной.
Лидер 2026 года: Sigmoid Gating без Aux-Loss
Доминирующим рецептом для современных открытых frontier-моделей стал подход Sigmoid gating с bias-балансировкой без градиентов (aux-loss-free). В отличие от классического Softmax, здесь используются сигмоиды для оценки экспертов, а балансировка нагрузки достигается за счет динамической коррекции смещения (bias) для перегруженных и простаивающих экспертов. Это устраняет интерферирующие градиенты.
Результаты тестов показывают, что такой подход снижает метрику MaxVio (максимальное нарушение баланса) с 0.72 до 0.04 на моделях объемом 1B, при этом перплексия остается ниже. Этот метод используют DeepSeek-V3, DeepSeek-V4, GLM-4.5 и Kimi K2.
Инновация DeepSeek-V4: Хэш-маршрутизация
DeepSeek-V4 внедрил нестандартное решение: хэш-маршрутизацию (Hash Routing) в первых трех слоях MoE. Это позволяет назначать экспертов на основе ID токена без обучаемого роутера, что ускоряет вычисления. Также модель использует sqrtsoftplus для оценки скоринга, сохраняя при этом механизм bias-балансировки.
Сравнительная таблица стратегий
Ниже приведена сводка по 7 основным стратегиям, используемым в индустрии, с указанием их механизмов и рисков.
| Стратегия | Кто выбирает | Балансировка нагрузки | Главный риск | Где используется |
|---|---|---|---|---|
| Softmax top-k | Токен выбирает k экспертов | Auxiliary loss | Компромисс качества | Mixtral, gpt-oss, Qwen3 |
| Top-1 Switch | Токен выбирает 1 эксперта | Aux loss + capacity factor | Потеря переполненных токенов | Switch Transformer, Llama 4 Maverick |
| Shared + Routed | Токен выбирает routed; shared всегда активен | Наследуется от routed метода | Доп. вычисления для shared | DeepSeek-V3/V4, Kimi K2, GLM-4.5 |
| Sigmoid + Bias | Токен выбирает по biased score | Per-expert bias, без градиентов | Дисбаланс внутри одной последовательности | DeepSeek-V3/V4, GLM-4.5, Kimi K2 |
| Node-limited | Токен выбирает в пределах ограниченных нод | Наследуется от routed метода | Ограничение выбора эксперта | DeepSeek-V2/V3 |
| Expert Choice | Эксперт выбирает k токенов | Фиксировано конструкцией | Утечка информации о будущих токенах | Исследования (не в production LLM) |
| Hash / Dynamic | ID токена или переменное k | Фиксированное отображение или адаптивное k | Меньше обученной специализации | DeepSeek-V4, SMIDT (SGLang) |
Опасность Expert Choice и роль Shared-экспертов
Стратегия Expert Choice (от Google), где каждый эксперт сам выбирает токены, обеспечивает идеальный баланс и ускоряет обучение в 2 раза. Однако в каузальных моделях (LLM) это приводит к утечке информации о будущих токенах. Исследователи DeepSeek зафиксировали аномальное снижение лосса примерно на 10% из-за этого эффекта, что делает метод непригодным для стандартного инференса.
Параллельно тренд на Shared-эксперты (всегда активные) остается стандартом для DeepSeek, Kimi и GLM, так как они захватывают общие знания, позволяя routed-экспертам специализироваться. Исключение — Qwen3, которая отказалась от shared-экспертов в пользу чистой спарсности.
Что делать разработчикам?
Большинство команд не выбирают роутер вручную, а наследуют его из чекпоинта. Однако при развертывании важно проверить config.json на наличие полей: expert count, experts per token, shared experts и topk_method. Изменение top-k во время инференса фактически меняет саму модель, поэтому это следует рассматривать как эксперимент по качеству. Для новых пре-тренингов рекомендация 2026 года — Sigmoid scoring с bias-балансировкой.
Источник: MarkTechPost ↗