MoE-маршрутизация — это код Хаффмана: новый закон частоты и разнообразия

MoE как информационный двигатель

В статье "Is MoE Routing a Huffman Code?" (arXiv:2607.20427), опубликованной 8 мая 2026 года, команда авторов во главе с Чинг-Чием Цао раскрывает внутреннюю логику маршрутизации в современных больших языковых моделях. Оказывается, выбор экспертов в архитектурах MoE — это не просто эвристика, а проявление закона частоты и разнообразия (Frequency-Diversity Law). Модели спонтанно действуют как информационно-теоретические двигатели: они выделяют разреженные ресурсы экспертов для часто встречающихся токенов и формируют комитеты высокой разнообразности для редких, сложных задач, особенно в траекториях цепочки рассуждений (Chain-of-Thought).

Проблема избыточности в Qwen3.5

Исследование выявило критическую проблему в модели Qwen3.5-35B-A3B. При низкой эффективной разреженности (отношение k/E_eff) принудительное балансирование нагрузки приводит к функциональной избыточности. Это маскирует истинную эффективность кодирования Хаффмана, заставляя модель использовать дублирующие пути вместо оптимизированных. Авторы предлагают стратегию Subset Difference Pruning (обрезка разницы подмножеств) для хирургического удаления функциональных дубликатов.

Результаты оптимизации

Применение предложенного метода обрезки не ухудшает способности к рассуждению, а, наоборот, высвобождает скрытую эффективность Хаффмана. Логика модели сжимается в высокоплотные пути, что подтверждает гипотезу о том, что маршрутизация должна стремиться к оптимальности минимальной длины описания (MDL).

Перспективы: от эвристики к сжатию

Авторы утверждают, что следующее поколение MoE-моделей должно отказаться от принудительного балансирования в пользу принципов MDL. Это позволит назначать более короткие коды маршрутизации для высокочастотной информации и более длинные, разнообразные коды для редких данных, превращая маршрутизацию из эвристического процесса в принципиальный механизм сжатия информации.

Источник: arXiv cs.CL ↗