В эпоху, когда большие языковые модели (LLM) становятся всё более ресурсоемкими, многие энтузиасты и разработчики сталкиваются с одной и той же проблемой: как запустить мощную модель локально, не имея доступа к серверам с десятками GPU? Автор статьи, технический специалист Hugging Face Тарек Зиаде, делится своим опытом оптимизации инференса MoE (Mixture of Experts) моделей на потребительском оборудовании. Его цель — не просто запустить модель, а сделать это максимально эффективно, используя ограниченные ресурсы домашнего ПК и ноутбука.
Ключевым открытием стало использование технологии потоковой передачи (streaming) «экспертов» модели прямо с SSD-накопителя. Это позволяет обойти жесткие ограничения видеопамяти (VRAM) и оперативной памяти (RAM). В результате удалось достичь производительности, всего на 6% уступающей специализированному движку Strata, который считается эталоном для таких задач. Эта статья — не просто отчет о бенчмарках, а подробный разбор системных архитектур, сравнение движков инференса и практическое руководство по внедрению этих технологий в стандартный фреймворк Hugging Face Transformers.
01Контекст: Почему MoE и почему локально?
Модели типа Mixture of Experts (MoE) кардинально отличаются от традиционных плотных моделей. В плотной модели все параметры активны при каждом запросе. В MoE-модели, такой как Qwen3.8-Flash-Next с 180 миллиардами параметров, активны лишь небольшая часть «экспертов» (нейронных слоев) для каждого токена. Однако общая масса весов модели огромна: только блок экспертов может занимать более 120 ГБ памяти. Это делает невозможным загрузку всей модели в VRAM даже самых мощных потребительских видеокарт, таких как RTX 4090 (24 ГБ), не говоря уже о ноутбуках.
Тарек Зиаде описывает свою рабочую среду, которая типична для многих разработчиков, стремящихся к автономности. У него есть мощный домашний ПК «Orthrus» с двумя RTX 4090, работающий под Windows 11 (из-за игр детей), и MacBook M5 с 32 ГБ унифицированной памяти для работы в движении. Концепция RMD (Rooms Moving Development) подразумевает смену рабочего места: кухня, офис, диван. Фиксированный десктоп не подходит для такого стиля. Поэтому способность запускать большие модели на ноутбуке с 32 ГБ памяти становится критически важной.
Изначально он использовал модель Qwen 3.8 27B на ПК для задач кодирования, а для оркестрации на ноутбуке применял онлайн-модели. Однако сообщество подсказало решение: использовать Strata — специализированный движок инференса для MoE, который хранит «горячих» экспертов в VRAM, а остальные выгружает в RAM или даже на диск. Это позволило запустить 180-миллиардную модель на MacBook M5, но скорость составила всего 13.5 токенов в секунду, что недостаточно для комфортной работы с агентами по кодированию.
02Сравнение подходов: llama.cpp, vLLM и Transformers
Прежде чем углубиться в оптимизацию, автор проанализировал, как существующие движки инференса справляются с offload (выгрузкой) весов MoE-моделей, когда они не помещаются в память. Ключевые вопросы: где живут эксперты, где выполняется умножение матриц (matmul) и что перемещается по шине PCIe для каждого токена.
llama.cpp использует механизм mmap для маппинга файлов GGUF. Он может держать экспертов на CPU (через флаги --cpu-moe или --fit on). В этом случае вычисления происходят на CPU, а по PCIe передаются только активации. Это эффективно, если эксперты помещаются в RAM. Если нет — происходит постоянная перекачка страниц кэша (thrashing). Недавно добавленный кэш экспертов на GPU (--moe-cache-mib) фрагментирует граф вычислений, что приводит к потере ~10% производительности даже при полном помещении в память.

vLLM использует флаг --cpu-offload-gb N для размещения весов в pinned-памяти RAM. Кernels читают их напрямую по PCIe. Для MoE-слоев это касается только маршрутизированных экспертов. Однако здесь нет кэширования: «горячий» эксперт снова проходит по PCIe при каждом токене. По умолчанию выгружаются и плотные слои, что неэффективно для одиночных пользователей. Флаг --cpu-offload-params experts ограничивает выгрузку только экспертами.
Hugging Face Transformers (через Accelerate) выгружает модули по одному. Для MoE это означает, что для каждого токена копируются веса всех экспертов каждого выгруженного слоя, чтобы активировать 8-10 из них. Нет кэширования, нет понимания маршрутизации. На Mac это особенно проблематично, так как CPU и GPU делят память, и «выгрузка на CPU» ничего не освобождает.
Автор провел тесты на модели Qwen3.6-35B-A3B с одним GPU A10G (24 ГБ). Результаты показали, что vLLM с оптимизированными флагами достигает 20.1 токенов/с, тогда как Transformers с ускорением Accelerate выдает жалкие 0.16 токенов/с. llama.cpp с настройкой --fit on показал 63-64 токена/с. Это доказало, что для больших MoE-моделей на ноутбуках стандартные подходы недостаточны.
# Пример конфигурации для vLLM с offload экспертов
# vLLM, FP8, --cpu-offload-gb 16 --cpu-offload-params experts
# Результат: 20.1 tok/s03Эксперимент: Потоковая передача экспертов в Transformers
Поскольку Strata была слишком медленной для задач кодирования, а Transformers не мог конкурировать «из коробки», Тарек решил доработать сам фреймворк Transformers. Цель: реализовать потоковую передачу экспертов с SSD, используя только Python и Metal-ядра (для macOS), без написания C++ расширений.
Работа началась с небольшой модели OLMoE-1B-7B, чтобы отладить логику. Первая версия использовала LRU-кэш на устройстве и Python-цикл для загрузки экспертов по одному. Скорость составила 10.1 токенов/с против 32 у «ванильного» Transformers. Проблема была в inefficiency Python-цикла: стандартный Transformers использует grouped_mm, который запускает все эксперты слоя в одном ядре.
Ключевое решение — превратить кэш в slot pool (пул слотов). Это предварительно выделенный тензор на устройстве, общий для всех слоев, плюс таблица на слой, сопоставляющая ID эксперта со слотом. Роутер модели переназначает ID экспертов на слоты, и пул выглядит как обычный банк экспертов. Это позволяет использовать стандартный grouped_mm без кастомных ядер matmul. Результат: 34.6 токенов/с против 38.1 у оригинала.

pip install "git+https://github.com/huggingface/transformers.git@refs/pull/50717/head".Затем автор перешел к целевой модели Qwen3.8-Flash-Next. Репозиторий содержит конвертированные веса: плотные веса, эксперты, квантованные до 3 бит, и таблицу n-грамм. Эксперты, назначенные на disk в device_map, проходят через путь потоковой передачи. Загрузчик пропускает их тензоры, а слои MoE переключаются на реализацию с offload. Пропуски кэша (misses) читаются 8 потоками ввода-вывода, по одному непрерывному чтению на эксперта. Роутеры следующих слоев запускаются заранее, чтобы предсказать, какие эксперты нужны, и начать их предзагрузку.
04Запуск 121 ГБ экспертов на MacBook M5 с 32 ГБ памяти
Qwen3.8-Flash-Next имеет 48 слоев по 512 экспертов (активны 10). В формате FP8 весы экспертов занимают 121 ГБ. Кроме того, есть таблица n-грамм размером 51 ГБ, требующая собственного пути к диску. Конфигурация для запуска на 32 ГБ MacBook M5 выглядит следующим образом:
- Эксперты квантованы до 3 бит: 49 ГБ на диске, 12 ГБ кэшируются на устройстве.
- Плотные слои в 8-битном квантовании: ~5.4 ГБ (потеря перплексии всего 0.2% по сравнению с BF16).
- Таблица n-грамм остается на диске, строки читаются по мере необходимости.
Конвертация весов занимает около 5 часов. После загрузки модель использует ~18 ГБ памяти, а пиковое значение при промпте в 6K токенов достигает 25.4 ГБ. Это близко к пределу 32 ГБ: если не закрыть браузер, macOS начинает использовать swap, что критически снижает производительность.
from transformers import AutoModelForCausalLM, AutoConfig
from transformers import MetalConfig
from huggingface_hub import snapshot_download
import torch
path = snapshot_download("tarekziade/Qwen3.8-Flash-Next-expert-streaming")
model = AutoModelForCausalLM.from_pretrained(
f"{path}/dense",
dtype=torch.bfloat16,
device_map={
"": "mps",
"experts.*": "disk"
},
quantization_config=MetalConfig(bits=8),
experts_offload={
"cache_bytes": 12 << 30,
"quantized_experts": f"{path}/experts-q3"
},
)05Сравнение производительности: Transformers против Strata
Первая версия реализации на Transformers выдавала около 10 токенов/с. После внедрения Strata на тот же MacBook M5 с теми же промптами, разница была очевидной. Однако последующие оптимизации позволили сократить разрыв.
Основные оптимизации включали:

- Раннее выполнение GPU-задач: PyTorch на MPS откладывает мелкие ядра до следующей синхронизации, из-за чего GPU простаивал. Принудительный commit после каждого блока дал прирост в 10%.
- Metal-ядра: Написание кастомных ядер для Gated DeltaNet и гипер-связей, для которых не было быстрого пути в macOS.
- Веса Strata: Использование GGUF-весов от Strata снизило трафик плотных весов с 5.4 ГБ до 3.9 ГБ на токен и уменьшило размер отдельного эксперта с 2.15 МБ до 1.75 МБ.
- Оптимизация Prefill: Использование больших чанков и чтение экспертов следующего слоя во время вычисления текущего.
- Работа с длинными документами: Внимание только к выбранным блокам индексатора и инкрементное расширение KV-кэша.
Финальные результаты на MacBook M5:
| Тест | Transformers (оптимизированный) | Strata 0.1.60 | Разница |
|---|---|---|---|
| Decode, 200 токенов | 13.9 tok/s | 14.8 tok/s | 1.06x (6% отставание) |
| Prefill, 4K промпт | 228 tok/s | 220 tok/s | 1.0x (преимущество) |
| Decode после 6K документа | 12.4 tok/s | 13.7 tok/s | 1.1x |
Таким образом, оптимизированный Transformers достигает 94% от скорости Strata на декодировании и превосходит её на префилле. Оставшаяся разница (~6%) обусловлена задержками хоста: ~10 мс на токен уходит на ожидание синхронизации и очереди Python. Strata планирует работу целого токена заранее, тогда как PyTorch делает это послойно.
torch.mps.compile_shader или загружены с Hugging Face Hub. Это демонстрирует мощь Python-экосистемы для прототипирования сложных системных оптимизаций.06Что это значит на практике
Для разработчиков и энтузиастов ИИ эта работа открывает несколько важных перспектив. Во-первых, она доказывает, что запуск 180-миллиардных MoE-моделей на потребительском оборудовании (ноутбуки с 32 ГБ RAM) возможен и практически применим, если правильно управлять памятью. Скорость в 12-14 токенов/с достаточна для многих задач, включая генерацию кода, хотя и не идеальна для интерактивного диалога в реальном времени.
Во-вторых, интеграция потоковой передачи экспертов в стандартный Transformers делает эту технологию доступной для широкой аудитории. Не нужно изучать специфические движки вроде Strata или настраивать сложные конфигурации vLLM. Достаточно использовать соответствующий PR и правильно сконвертировать веса.
В-третьих, оптимизация квантования (до 3 бит для экспертов) и использование SSD как основного хранилища весов становятся критическими. Это меняет парадигму: вместо того чтобы пытаться впихнуть всю модель в RAM, мы используем SSD как расширение памяти с высокой пропускной способностью, кэшируя только активные части.
Наконец, этот эксперимент подчеркивает важность системного подхода к разработке ИИ. Понимание того, как данные перемещаются между CPU, GPU и SSD, как работает маршрутизация экспертов и как минимизировать простои GPU, становится таким же важным навыком, как и настройка гиперпараметров обучения. Для пользователей из РФ это особенно актуально, так как локальный запуск больших моделей позволяет избежать ограничений доступа к облачным API и обеспечивает независимость от внешних сервисов.
Проект продолжает развиваться. API обсуждается с мейнтейнерами Transformers, и ожидается, что в будущем потоковая передача экспертов станет стандартной функцией фреймворка. А пока энтузиасты могут попробовать запустить Qwen3.8-Flash-Next на своем оборудовании, используя представленные методы, и оценить, как MoE-архитектура меняет возможности локального ИИ.
Источник: Hugging Face ↗
