AIKraft Agents
Главная/Блог/Гайд/Стратегии маршрутизации MoE: Полный гид…
Гайд4 мин чтения · 8 ноября 2026 г.

Стратегии маршрутизации MoE: Полный гид по выбору экспертов

Разбираем 7 стратегий маршрутизации в Mixture-of-Experts моделях: от Softmax до Sigmoid-балансировки. Как это влияет на скорость, стоимость и качество генерации в 2026 году.

Стратегии маршрутизации MoE: Полный гид по выбору экспертов

Каждый токен в современных больших языковых моделях (LLM) с архитектурой Mixture-of-Experts (MoE) проходит через один и тот же критический момент принятия решения: какой именно набор экспертов должен обработать эту информацию? Этот процесс, называемый маршрутизацией, является сердцем архитектуры MoE. От качества алгоритма маршрутизации напрямую зависят три ключевых показателя: итоговое качество ответов модели, равномерность распределения нагрузки между графическими процессорами (GPU) и, что особенно важно для бизнеса, стоимость обслуживания модели. В последние годы, когда открытые модели MoE становятся стандартом для корпоративного внедрения, понимание этих механизмов перестает быть просто академическим интересом и превращается в необходимое условие для эффективного развертывания AI-инфраструктуры.

Маршрутизаторы в MoE-моделях не просто выбирают «лучшего» эксперта; они формируют баланс между точностью и вычислительной эффективностью. Некоторые стратегии, такие как использование сигмоидного взвешивания с балансировкой без вспомогательных потерь (aux-loss-free), стали доминирующим рецептом для передовых открытых моделей. Другие, такие как маршрутизация на основе хэширования или «выбор эксперта», предлагают уникальные компромиссы, которые могут быть критичны для специфических задач. В этом подробном руководстве мы разберем семь основных стратегий маршрутизации, используемых в производстве сегодня, проанализируем их плюсы и минусы, а также рассмотрим конкретные модели, которые их применяют.

01Что такое маршрутизация MoE и почему она важна?

Маршрутизация MoE — это механизм, который направляет каждый отдельный токен в небольшое подмножество «экспертных» нейронных сетей внутри модели. Представьте себе огромную библиотеку, где вместо одного всезнающего библиотекаря у вас есть сотни узкоспециализированных экспертов. Когда пользователь задает вопрос, система должна быстро решить, к кому из этих экспертов обратиться. Маршрутизатор оценивает каждого эксперта, оставляет лучших кандидатов и взвешивает их выходные данные. Только выбранные эксперты выполняют вычисления, что позволяет модели иметь миллиарды параметров, но активировать лишь их малую часть для каждого токена.

Классическим примером является модель Mixtral 8x7B. Она предоставляет доступ к 47 миллиардам параметров, но для обработки каждого токена использует только 13 миллиардов активных параметров. Это дает колоссальный прирост эффективности: модель может быть обучена на огромных объемах данных, но генерировать ответы с скоростью, близкой к значительно меньшим моделям. Однако эта эффективность возможна только благодаря умной маршрутизации. Если маршрутизатор работает плохо, нагрузка может распределиться неравномерно, что приведет к «узким местам» в кластере GPU, или же качество ответов упадет из-за того, что токен был отправлен не тому эксперту.

Стратегии маршрутизации MoE: Полный гид по выбору экспертов
💡
Ключевой момент. Маршрутизация — это не просто оптимизация, это архитектурный выбор. Он определяет, как модель «думает» и распределяет знания. Плохая маршрутизация может свести на нет преимущества огромного размера модели.

021. Softmax Top-K Token Choice: Классический подход

Первая и наиболее распространенная стратегия — это Softmax Top-K. В этом подходе каждый токен оценивает всех доступных экспертов с помощью линейного слоя. Затем система выбирает k экспертов с наивысшими баллами. Вероятности (веса) для этих экспертов вычисляются с помощью функции Softmax, которая нормализует баллы так, чтобы их сумма равнялась единице. Обычно используется вспомогательная функция потерь (auxiliary loss), которая помогает поддерживать равномерную загрузку экспертов, предотвращая ситуацию, когда один или два эксперта перегружены, а остальные простаивают.

Эта стратегия используется в таких известных моделях, как Mixtral, gpt-oss и Qwen3. Например, Mixtral выбирает 2 из 8 экспертов для каждого токена. Более крупные модели, такие как gpt-oss-120b, выбирают 4 из 128 экспертов, а Qwen3-235B-A22B — 8 из 128. Чем больше k, тем больше параметров активируется, что может улучшить качество, но увеличивает вычислительную нагрузку и задержку.

Основной риск здесь заключается в компромиссе между качеством и эффективностью. Вспомогательные потери помогают балансировать нагрузку, но они могут немного снизить итоговое качество модели, так как оптимизация направлена не только на точность предсказаний, но и на равномерность распределения. Тем не менее, этот метод остается надежным и предсказуемым выбором для многих задач.

Стратегии маршрутизации MoE: Полный гид по выбору экспертов

032. Top-1 Switch Routing с фактором емкости

Стратегия Top-1 Switch, продемонстрированная в модели Switch Transformer, предлагает более радикальный подход: каждый токен направляется только к одному эксперту. Это значительно сокращает вычислительные затраты на маршрутизацию. Однако возникает проблема: если токенов больше, чем может обработать один эксперт, часть из них должна быть «отброшена» или перенаправлена через остаточное соединение (residual connection), минуя слой эксперта.

Для управления этим вводится «фактор емкости». Каждый эксперт получает фиксированный буфер, рассчитываемый как количество токенов в батче, деленное на количество экспертов, умноженное на коэффициент емкости (обычно больше 1). Если эксперт заполняется, лишние токены пропускают слой. Эта стратегия используется в Switch Transformer и Llama 4 Maverick (которая также использует общего эксперта для обработки переполненных токенов).

Преимущество этого подхода — простота и скорость. Недостаток — потенциальная потеря информации из-за отброшенных токенов. Однако на практике это часто оказывается приемлемой ценой за значительное ускорение вычислений.

043. Общие и маршрутизируемые эксперты (Shared + Routed)

В этой стратегии каждый слой модели разделяется на два типа экспертов: «общие» (shared), которые всегда активны, и «маршрутизируемые» (routed), которые активируются

Источник: MarkTechPost ↗