Архитектура иерархической памяти
Ключевая инновация заключается в отказе от передачи данных по медленной шине PCIe. Вместо этого используется трехуровневая система кэширования, аналогичная процессорной:
- L1 (VRAM): Хранит слои внимания, роутеры, MTP-слой, KV-кэш и наиболее востребованные эксперты MoE.
- L2 (System RAM): Содержит все веса экспертов (до 24 576 штук). CPU работает с ними параллельно GPU, избегая узкого места PCIe.
- L3 (SSD): Держит n-gram таблицы (десятки ГБ) для быстрого доступа к статистике, так как запросы к диску единичны на токен.
Каждый дополнительный гигабайт VRAM позволяет разместить в быстром кэше около 700 экспертов, что критически важно для скорости инференса.
Результаты бенчмарков: Qwen3.8-Flash-Next (180B)
Модель квантуется методами GSQ/RCO от Austrian Institute of Technology. Ниже приведены реальные скорости генерации (decode) на разном оборудовании:
| Железо | Квант | RAM + VRAM | Decode (ток/с) |
|---|---|---|---|
| RTX 5070 12GB + Ryzen 5 7600 | Q2_0 / IQ2_XS / IQ3_S | ~38-55 GB | 94 / 79 / 53 |
| RTX 4070 12GB + i5-12600KF | IQ2_XS | ~40 GB | 48 |
| 2x TITAN RTX 24GB + Xeon E5 | IQ3_S | ~125 GB | 77 |
| RTX A6000 48GB + Threadripper | IQ3_S | 128 GB | 150 |
| Radeon 780M (встройка) | Q2_0 + MTP | 60 GB | 14 |
Качество сохраняется на уровне 84–90% от базовой BF16 модели в зависимости от степени квантования.
DeepSeekV4.1-Flash-1017 (763B) на потребительских картах
Даже гигантская модель DeepSeek (763B параметров) помещается на карты с 12 ГБ памяти при использовании кванта IQ2_XXS (2.00 bpw). Скорость низкая, но функциональная:
| Железо | Квант | RAM + VRAM | Decode (ток/с) |
|---|---|---|---|
| RTX 3060 12GB | IQ2_XXS | 46 GB | 10 |
| RTX 4090 24GB | IQ2_XXS | 96 GB | 15 |
| RTX 4090 24GB | IQ2_XS | 90 GB | 25 |
| Radeon AI PRO R9700 | IQ2_XXS | 251 GB | 23 |
| RTX A6000 48GB + Threadripper | IQ2_XS | 128 GB | 30 |
Project Maya и GLM-5.3-Flash (321B)
Для архитектур, не поддерживаемых Strata, создан форк Project Maya. Он позволяет запускать GLM-5.3-Flash (321B) с контекстом до 1M токенов. Собственные кванты Maya обеспечивают сохранение точности 97–99% относительно FP8:
- Maya-S: 96.5 ГБ, для карт до 16 ГБ VRAM (97.9% точности).
- Maya-M: 116 ГБ, для карт 24–48 ГБ VRAM (97.9% точности).
- Maya-L: 156.3 ГБ, для карт от 48 ГБ VRAM (99.2% точности).
На RTX 3090 (24 ГБ) + 128 ГБ RAM модель Maya-S24 выдает 26 токенов в секунду, а на RTX A6000 (48 ГБ) с квантом Maya-M — 28 токенов в секунду при контексте 1M.
Итог: новая парадигма локального ИИ
Проблема «влезет ли модель» решена. Теперь вопрос стоит в компромиссе: «Сколько битов точности вы готовы потерять ради скорости?». Успех Strata и Maya доказывает, что гибридная память и агрессивное квантование позволяют запускать модели уровня 700B+ на обычном ПК, смещая фокус с облачных гигантов на локальные специализированные решения.
Источник: Habr ↗