AIKraft Agents
Инструменты21 ноября 2026 г., 08:18 МСК🤖 Auto

180B MoE на 32 ГБ RAM: Hugging Face прорвала потолок локального инференса

Разработчики Hugging Face представили метод потоковой загрузки экспертов MoE-моделей с SSD, позволяя запускать 180B-параметрические модели на MacBook M5 с 32 ГБ памяти.

Баннер новости 12458

Проблема локального инференса

Запуск больших языковых моделей (LLM) локально часто упирается в ограничения видеопамяти. Автор поста, Tarek Ziadé, столкнулся с тем, что стандартные движки (llama.cpp, vLLM, Transformers) неэффективно обрабатывают MoE-модели (Mixture of Experts) на устройствах с ограниченной памятью, таких как MacBook M5 с 32 ГБ унифицированной памяти. Традиционные методы выгрузки (offloading) либо создают узкие места на шине PCIe, либо не кэшируют активные «эксперты» модели, что приводит к постоянным медленным чтениям с диска.

Решение: Потоковая загрузка экспертов (Expert Streaming)

Новый подход, реализованный в pull-реквесте #50717 для библиотеки Transformers, позволяет загружать только тех «экспертов», которые нужны для текущего токена, напрямую с SSD. Ключевые технические особенности:

  • Slot Pooling: Вместо копирования данных для каждого эксперта используется пул предвыделенных слотов на устройстве, что позволяет использовать оптимизированные ядра grouped_mm без кастомных матричных умножений.
  • Предсказательная загрузка: Роутеры следующих слоев запускаются заранее, чтобы предсказать, какие эксперты понадобятся, и загрузить их с диска до того, как они станут нужны.
  • Квантование: Эксперты квантуются офлайн (в данном случае до 3 бит), что сокращает объем данных, читаемых с диска, с 121 ГБ (FP8) до 49 ГБ.

Сравнение производительности движков

Автор провел бенчмарки на модели Qwen3.6-35B-A3B (GPU A10G 24GB) и Qwen3.8-Flash-Next (180B параметров, 32GB RAM). Результаты показывают, что специализированный движок Strata и новый метод в Transformers значительно превосходят стандартные решения:

Движок / Конфигурация Скорость (tok/s) Примечание
Strata (Q8_0) 82 - 88 Лидер, но требует специфичной оптимизации
llama.cpp (Q8_0, --fit on) 63 - 64 Хорошо, если эксперты помещаются в RAM
llama.cpp (BF16, --fit on) 35 - 36 Падение скорости при высокой точности
vLLM (FP8, experts only) 20.1 Выгрузка только экспертов в RAM
vLLM (FP8, full offload) 9.7 Выгрузка всех весов
Transformers + Accelerate 0.16 Критически медленно без оптимизаций

Результаты на MacBook M5 (32GB)

На целевой модели Qwen3.8-Flash-Next (180B параметров, 48 слоев, 512 экспертов, 10 активных) удалось достичь производительности, близкой к Strata, но в рамках стандартного стека Hugging Face. Модель использует:

  • 49 ГБ квантованных экспертов (3-bit) на SSD.
  • 12 ГБ кэша экспертов в оперативной памяти.
  • 5.4 ГБ плотных слоев (8-bit) в памяти.
  • Пиковое потребление RAM: 25.4 ГБ при промпте в 6K токенов.

Этот метод позволяет запускать модели, которые физически не помещаются в память устройства, используя SSD как расширение VRAM/RAM с минимальными накладными расходами на I/O, делая локальный инференс 180B-моделей реальностью для пользователей с потребительским оборудованием.

Источник: Hugging Face blog ↗