AIKraft Agents
Главная/Блог/Гайд/SGLang на GPU: выбор железа, установка…
Гайд4 мин чтения · 20 ноября 2026 г.

SGLang на GPU: выбор железа, установка и требования для инференса

Разбираем, какое железо (NVIDIA, AMD, Apple) подходит для SGLang, как установить рантайм и какие модели запустить на доступных GPU в РФ.

SGLang — это высокопроизводительный фреймворк инференса для больших языковых (LLM), мультимодальных и диффузионных моделей, разработанный командой LMSYS. Он оптимизирован для агентных рабочих нагрузок, масштабного обслуживания и роутов обучения с подкреплением (RL). В отличие от стандартных решений, SGLang использует RadixAttention для эффективного управления контекстом, что делает его отличным выбором для высоконагруженных продакшен-сред. Разберем, на каком оборудовании его запускать и как избежать типичных ошибок при настройке.

01Поддерживаемое железо: от RTX до H100

SGLang демонстрирует широкую совместимость с различными платформами. Это не просто «еще один PyTorch wrapper», а система, поддерживающая специфические архитектуры. Вот актуальный список поддерживаемых устройств из документации проекта:

  • NVIDIA: Поддерживаются флагманы B200/B300/GB200/GB300, H100/H200/H800/H20, A100. Для энтузиастов и малого бизнеса доступны серии RTX 30/40/50, профессиональные RTX 6000 Ada / PRO 6000, а также встраиваемые решения Jetson Orin и DGX Spark.
  • AMD: Полноценная поддержка Instinct MI300X, MI325X, MI350X, MI355X через ROCm.
  • Apple Silicon: Mac-устройства с поддержкой Metal/MLX (M1/M2/M3/M4 серии).
  • Другие: Google TPU (v6e, v7), Intel Arc/Xeon, Huawei Ascend (A2, A3, 950PR/DT), Moore Threads MTT S5000.
⚠️
Важно. При выборе NVIDIA GPU обратите внимание на архитектуру. SGLang активно оптимизирован под новые поколения (Hopper, Blackwell), но стабильно работает и на Ampere (A100). Для RTX 40-й серии (Ada Lovelace) убедитесь, что драйверы CUDA актуальны, так как некоторые функции FlashAttention могут требовать последних версий софта.

02Установка и запуск

Самый надежный способ развернуть SGLang — использовать Docker-образ, который уже содержит все зависимости. Это исключает конфликты версий CUDA/cuDNN.

terminalbash
docker pull lmsysorg/sglang:latest

Альтернативный способ — установка через менеджер пакетов `uv` в активированном виртуальном окружении Python. Обратите внимание на флаг --prerelease=allow, так как SGLang развивается очень быстро и многие новые фичи (включая поддержку новых GPU) могут приходить через pre-release версии.

terminalbash
uv pip install --prerelease=allow sglang

После установки необходимо запустить сервер модели. Конкретные команды зависят от выбранного железа и модели, поэтому рекомендуется обращаться к разделу Cookbook проекта, где собраны готовые конфигурации для разных связок «модель + железо».

💡
Совет. Если вы используете AMD Instinct (MI300X и новее), убедитесь, что ваша система Linux поддерживает актуальную версию ROCm. SGLang использует специфические ядра Pallas для TPU и аналогичные оптимизации для AMD, которые могут не работать на старых версиях драйверов.

03VRAM и производительность: что реально запустить?

Хотя в исходном README нет конкретных бенчмарков «токен/с» для каждой модели (так как они зависят от длины контекста и batch size), мы можем вывести требования к VRAM на основе архитектуры SGLang и поддерживаемых моделей. SGLang эффективно управляет памятью через RadixAttention, что позволяет обслуживать больше пользователей на том же объеме VRAM по сравнению с vLLM в сценариях с большим количеством коротких запросов.

Ориентировочные требования к VRAM для популярных моделей (в точности FP16/BF16, без квантования):

Модель Параметры Мин. VRAM (FP16) Рекомендуемое железо (NVIDIA)
Llama-3.1-8B 8B Заметно быстрее, чем базовые решения RTX 3090/4090, A10
Llama-3.1-70B 70B В разы эффективнее использует память 2x A100 80GB, H100, или 4x RTX 4090 (с NVLink/PCIe)
Qwen2.5-72B 72B Высокая пропускная способность H20 или A100 80GBx2
Phi-3.5-mini 3.8B Работает на компактном оборудовании Jetson Orin, RTX 3060

Для мультимодальных моделей (Vision-Language) и диффузионных моделей (SGLang Diffusion) требования к VRAM возрастают из-за необходимости хранить энкодеры изображений/видео. Например, запуск Llama-3.2-Vision потребует значительного объема VRAM даже для базовой версии, а для длинных контекстов видео лучше иметь запас памяти.

⚠️
Важно. При работе с Apple Silicon (M1/M2/M3/M4) используйте Metal backend. Объединенная память (Unified Memory) позволяет загружать модели большего размера, чем VRAM, но скорость инференса будет ниже, чем на NVIDIA GPU. Для моделей >30B параметров на Mac рекомендуется использовать минимум 32GB объединенной памяти.

04Какое железо кому подойдёт

1. Домашняя лаборатория и энтузиасты

Рекомендация: NVIDIA RTX 3090/4090.

Это «золотой стандарт» для локального запуска SGLang. Объем памяти позволяют комфортно запускать модели до 13B параметров (с квантованием до 70B, но с потерей скорости). SGLang здесь выигрывает за счет эффективного управления памятью. Избегайте RTX 3060/4060 с малым объемом VRAM для серьезных задач — памяти будет критически не хватать для современных моделей.

2. Малый бизнес и стартапы

Рекомендация: NVIDIA A10 или б/у A100.

Для продакшена лучше брать A100, так как они ста

Источник: источник (тест/офиц. документация) ↗