Проблема: простой экспертов в MoE
При дообучении больших языковых моделей (LLM) методом обучения с подкреплением (RL) генерация обучающих ответов становится главным вычислительным узким местом. В моделях типа Mixture-of-Experts (MoE) возникает проблема дисбаланса: рабочие узлы, завершившие генерацию коротких ответов, остаются заблокированными, так как их локальные эксперты все еще требуются узлам, обрабатывающим длинные последовательности. По данным авторов, около 33% времени занятости вычислительных ресурсов тратится впустую после завершения локальной генерации ответа.
Решение: FlexFloor
Команда во главе с Цзя Вэй (Jia Wei) разработала систему FlexFloor, которая совместно адаптирует планирование ответов и активную группу рабочих узлов. Ключевые механизмы:
- Динамическое планирование: Использование исторических данных о длине ответов и ограничений памяти для оптимизации батчинга и размещения промптов.
- Эластичное освобождение: Постепенное высвобождение рабочих узлов при сохранении доступности необходимых экспертов и корректности коммуникации.
Результаты против baseline verl
Эксперименты показали значительное улучшение метрик эффективности по сравнению с базовой системой verl. При этом качество генерации (rollout reward) осталось стабильным.
| Метрика | Результат FlexFloor | Сравнение с baseline |
|---|---|---|
| Генерация токенов на единицу времени | +65,40% | Значительный рост эффективности |
| Пропускная способность (Throughput) | +52,74% | Ускорение процесса обучения |
| Rollout Reward | Без изменений | Качество ответов не деградировало |
Значение для индустрии
FlexFloor демонстрирует, что оптимизация распределения ресурсов в MoE-архитектурах может существенно сократить время итераций при дообучении моделей. Это ускоряет разработку как LLM, так и AI-агентов, делая процесс RL-тренинга более доступным и экономичным.
Источник: arXiv cs.AI ↗