AIKraft Agents
Главная/Блог/Гайд/Запуск GLM-5.3 на двух DGX Station:…
Гайд4 мин чтения · 13 ноября 2026 г.

Запуск GLM-5.3 на двух DGX Station: Масштабирование LLM с vLLM

Как запустить 753-миллиардную модель GLM-5.3 NVFP4 на двух серверах NVIDIA DGX Station с использованием vLLM, тензорного параллелизма и RDMA.

Запуск GLM-5.3 на двух DGX Station: Масштабирование LLM с vLLM

В эпоху, когда размер языковых моделей (LLM) превышает возможности памяти одного графического процессора, традиционные подходы к локальному развертыванию сталкиваются с непреодолимыми барьерами. Модель GLM-5.3 NVFP4 от Z.ai, представляющая собой квантованную смесь экспертов (Mixture-of-Experts, MoE) с 753 миллиардами параметров, требует значительного объема видеопамяти. Это значение значительно превышает емкость HBM3e в одном GPU GB300. Однако отказываться от локального запуска таких мощных моделей не обязательно. Благодаря развитию технологий распределенного вычисления и оптимизации инференса, стало возможным объединить ресурсы двух серверов NVIDIA DGX Station в единую вычислительную единицу.

В этой статье мы подробно разберем процесс развертывания GLM-5.3 на двух узлах DGX Station, соединенных через высокоскоростное соединение ConnectX-8 RDMA. Мы используем фреймворк vLLM для организации тензорного параллелизма (Tensor Parallelism, TP=2), что позволяет распределить веса модели и вычисления между двумя GPU. Каждый сервер будет выполнять свою часть работы, но для пользователя это будет выглядеть как единая OpenAI-совместимая конечная точка. Мы рассмотрим не только технические шаги настройки, но и практические аспекты производительности, включая использование многозадачного предсказания (Multi-Token Prediction, MTP) и кэширования префиксов.

Схема взаимодействия двух DGX Station: каждая видеокарта хранит и вычисляет часть модели через выбранное RDMA-соединение. Память остается разделенной.
Схема взаимодействия двух DGX Station: каждая видеокарта хранит и вычисляет часть модели через выбранное RDMA-соединение. Память остается разделенной.

01Почему одна видеокарта больше не справляется?

Понимание ограничений аппаратного обеспечения — первый шаг к выбору правильной архитектуры развертывания. Модель GLM-5.3 NVFP4 является квантованной версией оригинальной модели Z.ai. Использование квантования NVFP4 (NVIDIA FP4) позволяет существенно сократить объем памяти, необходимый для хранения весов, без критической потери качества генерации. Тем не менее, даже с учетом квантования, полный чекпоинт модели занимает значительный объем памяти.

Современные флагманские GPU, такие как NVIDIA GB300, оснащены памятью HBM3e. Это означает, что модель физически не помещается в память одного устройства. В прошлом администраторам приходилось бы использовать CPU-оффлоадинг (перенос части весов в оперативную память сервера), что катастрофически замедляет инференс из-за узкого канала PCIe. В данном руководстве мы используем другой подход: распределение модели по двум GPU, каждый из которых хранит свою половину весов и выполняет вычисления параллельно. Это сохраняет скорость доступа к памяти HBM, но требует надежного соединения между узлами.

💡
Важно о MoE-архитектуре. GLM-5.3 использует архитектуру Mixture-of-Experts. Хотя на каждый токен активируется лишь небольшая часть параметров, все веса модели должны оставаться доступными в памяти, так как маршрутизация экспертов происходит динамически для каждого токена. Это делает квантование и эффективное управление памятью критически важными.

02Аппаратные требования и подготовка сети

Для успешного развертывания вам понадобятся две станции NVIDIA DGX Station, работающие под управлением Linux. Ключевым требованием является наличие соединения между узлами через InfiniBand или RoCE (RDMA over Converged Ethernet). В данном сценарии используется адаптер ConnectX-8, который обеспечивает высокую пропускную способность, необходимую для синхронизации вычислений между GPU в режиме тензорного параллелизма.

Перед началом установки убедитесь, что на каждой станции есть значительный объем свободного места на диске. Это пространство потребуется для хранения копии чекпоинта модели, образа контейнера vLLM и временных файлов. Также необходимо иметь доступ к репозиторию Hugging Face с токеном для загрузки закрытой модели GLM-5.3 и набора данных SPEED-Bench для последующего тестирования.

Настройка сети начинается с проверки подключения. Используйте команду ibdev2netdev для идентификации RDMA-устройств. Обычно доступны два канала (rails), например, cx8r0 и cx8r1. Выберите один из них для передачи трафика инференса. Запишите имя интерфейса (например, cx8r1) и соответствующее ему RDMA-устройство (например, mlx5_1), а также IPv4-адреса обеих станций. Эти данные будут использованы в конфигурационных файлах.

Важно проверить целостность соединения с помощью jumbo-пакетов. Команда ping -I <interface> -M do -s 8972 <peer_ip> должна возвращать успешные ответы. MTU должен быть установлен на 9000. Также убедитесь, что время на обеих станциях синхронизировано через NTP, так как рассинхронизация может привести к таймаутам NCCL.

03Шаг 1: Подготовка окружения и конфигурация

Управление двумя серверами удобнее всего осуществлять с одного рабочего места с помощью SSH. Создайте файл окружения ~/glm53.env на каждой станции. Этот файл будет хранить переменные, необходимые для запуска контейнеров. Обратите внимание, что переменная RANK будет отличаться: на главной станции (Station A) она равна "0", а на рабочей станции (Station B) — "1".

terminalbash
RANK="0"                    # RANK="0" на Station A, RANK="1" на Station B 
HEAD_IP="192.168.101.1"    # IPv4 адрес Station A
WORKER_IP="192.168.101.2"  # IPv4 адрес Station B
RAIL_IFACE="cx8r1"         # Выбранный интерфейс RDMA
RAIL_HCA="mlx5_1"          # RDMA устройство
IMG=vllm/vllm-openai:v0.30.0-aarch64
IMG+=@sha256:4864d46625cbc3307623e29ac742030655e27249feba7b97ec925ce4cc4dfb56
MODEL_REPO=nvidia/GLM-5.3-NVFP4
MODEL_REV=e3b8f9f2fad29727dfa95e766c5cac18ea1414bf
MODEL_HOST="$HOME/models/GLM-5.3-NVFP4"
CONTAINER=glm53-full
PORT=8000
Пример конфигурационного файла glm53.env с настройками для Station A и Station B.
Пример конфигурационного файла glm53.env с настройками для Station A и Station B.

После создания файла загрузите переменные в текущую сессию с помощью source ~/glm53.env. Проверьте доступность Docker и наличие свободного места. Если вы получаете ошибку permission denied при запуске Docker, добавьте ваше

Источник: NVIDIA Developer ↗