Проблема «узкого горлышка» в рекомендательных системах
В отличие от Large Language Models (LLM), которые часто допускают падение точности на 1% и более после квантования, промышленные модели ранжирования (Recommendation & Ranking, R&R) работают в жестких рамках. Для запуска в продакшен качество модели должно оставаться в пределах 0.01% Normalized Entropy (NE) относительно базовой версии (FP16/FP32). Это требование исторически блокировало использование агрессивных форматов квантования, таких как INT8 или FP8, так как они часто нарушали этот порог.
Решение: Нативный MXFP6 и гибкий MXFP8
Команда AMD (в соавторстве с исследователями из других лабораторий) представила эмпирическую оценку форматов MXFP8 и MXFP6 на архитектуре AMD MI350X. Ключевое новшество — MXFP6 квантует как веса, так и активации, позволяя вычислениям GEMM (General Matrix Multiply) происходить напрямую с 6-битными элементами. Это первый случай в индустрии, когда нативный MXFP6 дает значительный прирост скорости без ущерба для качества R&R-моделей.
Авторы также показали, что MXFP8 является жизнеспособной альтернативой построчному FP8 (row-wise FP8): точность форматов практически идентична, что позволяет выбирать более быстрый ядро для каждого конкретного GEMM-оператора.
Результаты бенчмарков
Тестирование проводилось на двух производственных моделях ранжирования рекламы. Результаты демонстрируют существенный прирост пропускной способности (throughput) и скорости отдельных ядер:
| Метрика | MXFP8 | MXFP6 (Selectively Applied) |
|---|---|---|
| Ускорение GEMM-ядер (vs FP16) | 1.33x – 1.55x | 1.73x – 1.99x |
| Макс. ускорение отдельных слоев (MXFP6) | — | до 2.90x |
| Рост E2E throughput (Model A vs FP8) | — | +1.5% – 5.3% |
| Рост E2E throughput (Model B vs FP8) | — | +7.6% – 14.3% |
Почему это важно
Для рекламных платформ, где миллионы запросов обрабатываются в реальном времени, даже 1% прироста пропускной способности означает экономию миллионов долларов на инфраструктуре. Использование MXFP6 позволяет компаниям выжимать максимум из GPU MI350X, сохраняя при этом «железобетонную» точность, необходимую для бизнес-метрик. Это открывает путь к более плотному развертыванию сложных R&R-моделей без необходимости апгрейда аппаратной части.
Источник: arXiv cs.AI ↗
