Проблема локального инференса
Запуск больших языковых моделей (LLM) локально часто упирается в ограничения видеопамяти. Автор поста, Tarek Ziadé, столкнулся с тем, что стандартные движки (llama.cpp, vLLM, Transformers) неэффективно обрабатывают MoE-модели (Mixture of Experts) на устройствах с ограниченной памятью, таких как MacBook M5 с 32 ГБ унифицированной памяти. Традиционные методы выгрузки (offloading) либо создают узкие места на шине PCIe, либо не кэшируют активные «эксперты» модели, что приводит к постоянным медленным чтениям с диска.
Решение: Потоковая загрузка экспертов (Expert Streaming)
Новый подход, реализованный в pull-реквесте #50717 для библиотеки Transformers, позволяет загружать только тех «экспертов», которые нужны для текущего токена, напрямую с SSD. Ключевые технические особенности:
- Slot Pooling: Вместо копирования данных для каждого эксперта используется пул предвыделенных слотов на устройстве, что позволяет использовать оптимизированные ядра
grouped_mmбез кастомных матричных умножений. - Предсказательная загрузка: Роутеры следующих слоев запускаются заранее, чтобы предсказать, какие эксперты понадобятся, и загрузить их с диска до того, как они станут нужны.
- Квантование: Эксперты квантуются офлайн (в данном случае до 3 бит), что сокращает объем данных, читаемых с диска, с 121 ГБ (FP8) до 49 ГБ.
Сравнение производительности движков
Автор провел бенчмарки на модели Qwen3.6-35B-A3B (GPU A10G 24GB) и Qwen3.8-Flash-Next (180B параметров, 32GB RAM). Результаты показывают, что специализированный движок Strata и новый метод в Transformers значительно превосходят стандартные решения:
| Движок / Конфигурация | Скорость (tok/s) | Примечание |
|---|---|---|
| Strata (Q8_0) | 82 - 88 | Лидер, но требует специфичной оптимизации |
| llama.cpp (Q8_0, --fit on) | 63 - 64 | Хорошо, если эксперты помещаются в RAM |
| llama.cpp (BF16, --fit on) | 35 - 36 | Падение скорости при высокой точности |
| vLLM (FP8, experts only) | 20.1 | Выгрузка только экспертов в RAM |
| vLLM (FP8, full offload) | 9.7 | Выгрузка всех весов |
| Transformers + Accelerate | 0.16 | Критически медленно без оптимизаций |
Результаты на MacBook M5 (32GB)
На целевой модели Qwen3.8-Flash-Next (180B параметров, 48 слоев, 512 экспертов, 10 активных) удалось достичь производительности, близкой к Strata, но в рамках стандартного стека Hugging Face. Модель использует:
- 49 ГБ квантованных экспертов (3-bit) на SSD.
- 12 ГБ кэша экспертов в оперативной памяти.
- 5.4 ГБ плотных слоев (8-bit) в памяти.
- Пиковое потребление RAM: 25.4 ГБ при промпте в 6K токенов.
Этот метод позволяет запускать модели, которые физически не помещаются в память устройства, используя SSD как расширение VRAM/RAM с минимальными накладными расходами на I/O, делая локальный инференс 180B-моделей реальностью для пользователей с потребительским оборудованием.
Источник: Hugging Face blog ↗
