Суть проблемы: экономия vs. качество
Запуск токенов промпта через меньшее количество маршрутизируемых экспертов (MoE) — популярный способ снизить стоимость инференса. Однако новое исследование на arXiv (октябрь 2026) доказывает, что такая оптимизация наносит скрытый урон качеству ответов, особенно в задачах кратких ответов (short-answer QA). Авторы проанализировали четыре семейства MoE-моделей, включая Qwen3-30B-A3B и DeepSeek-V2-Lite.
Где именно происходит сбой?
Главный вывод: потеря точности (F1 loss) концентрируется в критических зонах промпта. В Qwen3 урон наносится двумя токенами шаблона чата перед ответом, а в DeepSeek-V2-Lite — первыми 8–32 токенами инструкции. Эти позиции отвечают за половину и пятую часть общего ущерба соответственно.
Интересно, что само сокращение экспертов меняет параметры первого токена (массу внимания, норму, активацию) менее чем на 4%. Восстановление «супер-экспертов» или массовых активаций возвращает лишь ~25% потерянной точности, что значительно хуже простого сохранения полных экспертов для чувствительных позиций.
Экспериментальные данные
Авторы провели сравнение стратегий распределения экспертов. Результаты показывают, что сохранение полных экспертов только для 4% токенов (на границе промпта) удерживает F1 в пределах 1 балла от базовой модели. Случайное распределение тех же ресурсов дает отставание в 3 балла.
| Метрика / Параметр | Результат / Наблюдение |
|---|---|
| Модели для тестирования | Qwen3-30B-A3B, DeepSeek-V2-Lite и др. (4 семейства) |
| Критичные токены (DeepSeek) | Первые 8–32 токена промпта |
| Влияние на 1-й токен | Изменение < 4% (внимание, норма, активация) |
| Восстановление через супер-эксперты | Возврат макс. ~25% потери F1 |
| Снижение задержки (TTFT) | ~14% на промптах в 11K токенов (не влияет на 2K) |
Практический вывод для инженеров
Правило простое: сохраняйте полные эксперты для концов промпта. Поскольку граница ответа всегда завершает однооборотный промпт, чувствительные токены лежат именно там. Это позволяет снизить время до первого токена (TTFT) на 14% на длинных контекстах, не теряя в качестве ответов.
Источник: arXiv cs.CL ↗