SGLang — это высокопроизводительный фреймворк инференса для больших языковых (LLM), мультимодальных и диффузионных моделей, разработанный командой LMSYS. Он оптимизирован для агентных рабочих нагрузок, масштабного обслуживания и роутов обучения с подкреплением (RL). В отличие от стандартных решений, SGLang использует RadixAttention для эффективного управления контекстом, что делает его отличным выбором для высоконагруженных продакшен-сред. Разберем, на каком оборудовании его запускать и как избежать типичных ошибок при настройке.
01Поддерживаемое железо: от RTX до H100
SGLang демонстрирует широкую совместимость с различными платформами. Это не просто «еще один PyTorch wrapper», а система, поддерживающая специфические архитектуры. Вот актуальный список поддерживаемых устройств из документации проекта:
- NVIDIA: Поддерживаются флагманы B200/B300/GB200/GB300, H100/H200/H800/H20, A100. Для энтузиастов и малого бизнеса доступны серии RTX 30/40/50, профессиональные RTX 6000 Ada / PRO 6000, а также встраиваемые решения Jetson Orin и DGX Spark.
- AMD: Полноценная поддержка Instinct MI300X, MI325X, MI350X, MI355X через ROCm.
- Apple Silicon: Mac-устройства с поддержкой Metal/MLX (M1/M2/M3/M4 серии).
- Другие: Google TPU (v6e, v7), Intel Arc/Xeon, Huawei Ascend (A2, A3, 950PR/DT), Moore Threads MTT S5000.
02Установка и запуск
Самый надежный способ развернуть SGLang — использовать Docker-образ, который уже содержит все зависимости. Это исключает конфликты версий CUDA/cuDNN.
docker pull lmsysorg/sglang:latestАльтернативный способ — установка через менеджер пакетов `uv` в активированном виртуальном окружении Python. Обратите внимание на флаг --prerelease=allow, так как SGLang развивается очень быстро и многие новые фичи (включая поддержку новых GPU) могут приходить через pre-release версии.
uv pip install --prerelease=allow sglangПосле установки необходимо запустить сервер модели. Конкретные команды зависят от выбранного железа и модели, поэтому рекомендуется обращаться к разделу Cookbook проекта, где собраны готовые конфигурации для разных связок «модель + железо».
03VRAM и производительность: что реально запустить?
Хотя в исходном README нет конкретных бенчмарков «токен/с» для каждой модели (так как они зависят от длины контекста и batch size), мы можем вывести требования к VRAM на основе архитектуры SGLang и поддерживаемых моделей. SGLang эффективно управляет памятью через RadixAttention, что позволяет обслуживать больше пользователей на том же объеме VRAM по сравнению с vLLM в сценариях с большим количеством коротких запросов.
Ориентировочные требования к VRAM для популярных моделей (в точности FP16/BF16, без квантования):
| Модель | Параметры | Мин. VRAM (FP16) | Рекомендуемое железо (NVIDIA) |
|---|---|---|---|
| Llama-3.1-8B | 8B | Заметно быстрее, чем базовые решения | RTX 3090/4090, A10 |
| Llama-3.1-70B | 70B | В разы эффективнее использует память | 2x A100 80GB, H100, или 4x RTX 4090 (с NVLink/PCIe) |
| Qwen2.5-72B | 72B | Высокая пропускная способность | H20 или A100 80GBx2 |
| Phi-3.5-mini | 3.8B | Работает на компактном оборудовании | Jetson Orin, RTX 3060 |
Для мультимодальных моделей (Vision-Language) и диффузионных моделей (SGLang Diffusion) требования к VRAM возрастают из-за необходимости хранить энкодеры изображений/видео. Например, запуск Llama-3.2-Vision потребует значительного объема VRAM даже для базовой версии, а для длинных контекстов видео лучше иметь запас памяти.
04Какое железо кому подойдёт
1. Домашняя лаборатория и энтузиасты
Рекомендация: NVIDIA RTX 3090/4090.
Это «золотой стандарт» для локального запуска SGLang. Объем памяти позволяют комфортно запускать модели до 13B параметров (с квантованием до 70B, но с потерей скорости). SGLang здесь выигрывает за счет эффективного управления памятью. Избегайте RTX 3060/4060 с малым объемом VRAM для серьезных задач — памяти будет критически не хватать для современных моделей.
2. Малый бизнес и стартапы
Рекомендация: NVIDIA A10 или б/у A100.
Для продакшена лучше брать A100, так как они ста
Источник: источник (тест/офиц. документация) ↗