Проблема: дисбаланс в MoE-моделях
Разреженные модели Mixture-of-Experts (MoE) обеспечивают масштабируемую емкость для веб-приложений, но неравномерная маршрутизация токенов создает серьезные вычислительные и коммуникационные узкие места. Существующие методы размещения и репликации экспертов перераспределяют рабочую нагрузку, однако дополнительные копии экспертов конкурируют с буферами, связанными с токенами, за ограниченную память GPU.
Решение: LRMoE
LRMoE (Load Re-Calibration for MoE) — это система обучения MoE, учитывающая ограничения памяти. Она совместно перенастраивает требования обратного распространения (backward demand) и балансирует сохраняемую рабочую нагрузку. Во время прямого выполнения (forward execution) система планирует квоты удержания и размещение экспертов с учетом ограничений ресурсов.
Ключевые особенности
- Память-ориентированный подход: LRMoE учитывает не только вычислительную нагрузку, но и требования к памяти для буферов токенов.
- Динамическое планирование: Система адаптирует квоты удержания и размещение экспертов в реальном времени.
- Балансировка нагрузки: Устраняет дисбаланс, вызванный неравномерной маршрутизацией токенов к экспертам.
Значение для индустрии
LRMoE позволяет эффективнее обучать большие MoE-модели на узлах с ограниченными ресурсами памяти, что снижает затраты на инфраструктуру и ускоряет разработку масштабируемых AI-решений. Это особенно важно для компаний, стремящихся использовать MoE-архитектуры без необходимости закупки дорогостоящего оборудования с огромным объемом VRAM.
Источник: arXiv cs.AI ↗