Проблема масштаба: модель не влезает в один GPU
Модель GLM-5.3 NVFP4 от Z.ai — это квантованная смесь экспертов (Mixture-of-Experts) с общим объемом в 753 миллиарда параметров, из которых активировано 40 млрд на токен. Несмотря на квантование NVFP4, размер чекпоинта составляет около 464 ГБ. Это превышает доступную память HBM3e в одном GPU GB300, который имеет лишь 252 ГБ. Решение NVIDIA: использовать два сервера DGX Station, соединенных через InfiniBand ConnectX-8, чтобы распределить веса модели.
Архитектура распределенного обслуживания
Вместо того чтобы прятать веса в CPU (weight offload), система держит их в GPU-памяти обоих серверов. Используется Tensor Parallelism (TP=2): каждый GPU GB300 хранит и вычисляет примерно половину весов. Сервер A (Rank 0) выступает в роли API-хедера (OpenAI-compatible endpoint), а Сервер B (Rank 1) работает как воркер. Связь между ними происходит через RDMA, что минимизирует задержки при обмене тензорами.
Результаты производительности (AIPerf)
Бенчмаркинг проводился на наборе данных SPEED-Bench Coding. Ключевые метрики показывают, как система ведет себя под нагрузкой. Пиковая пропускная способность достигается при умеренной конкурентности, после чего задержка растет из-за конкуренции за ресурсы и накладные расходы на коммуникацию.
| Параметр | Значение | Примечание |
|---|---|---|
| Пиковая пропускная способность | 607.8 токенов/с | При конкурентности (concurrency) 16 |
| Пропускная способность при высокой нагрузке | 385.0 токенов/с | При конкурентности 32 |
| Средняя задержка запроса | 453.5 секунд | При конкурентности 32 (включает время генерации) |
| Версия vLLM | v0.30.0-aarch64 | Использует FP8 KV-cache и prefix caching |
Технические детали и оптимизации
Для достижения таких результатов vLLM использует несколько ключевых функций:
- Multi-token prediction: ускорение генерации за счет предсказания нескольких токенов.
- FP8 KV-cache: хранение контекста в 8-битном формате для экономии памяти.
- Prefix caching: кэширование общих префиксов запросов для повторного использования вычислений.
Для развертывания требуется предварительная настройка RDMA-соединения (playbook "Connect Two DGX Stations"), синхронизация времени (NTP) и проверка MTU 9000 на соединении. Система требует как минимум 464 ГБ свободного места на диске каждого сервера для хранения чекпоинта.
Почему это важно
Этот кейс демонстрирует, что локальный запуск моделей уровня frontier (уровня SOTA) теперь возможен без облачных кластеров, если есть доступ к высокопроизводительному оборудованию. Комбинация DGX Station, InfiniBand и оптимизированного vLLM позволяет компаниям и исследователям работать с моделями в сотни миллиардов параметров, сохраняя контроль над данными и снижая зависимость от внешних API, несмотря на сложность инфраструктуры.
Источник: NVIDIA dev blog ↗
