vLLM — это высокопроизводительная библиотека для инференса больших языковых моделей (LLM), которая стала стандартом де-факто благодаря своей эффективности. Однако за красивой скоростью скрываются строгие аппаратные требования. В этой статье разберем, какое железо действительно нужно для запуска vLLM, как правильно установить среду и чего ожидать от разных архитектур GPU.
01Аппаратные требования и поддержка GPU
vLLM — это Python-библиотека, которая официально поддерживает несколько вариантов GPU. Выбор платформы определяет не только производительность, но и сложность настройки. Основные направления: NVIDIA CUDA, AMD ROCm, Intel XPU и Apple Silicon. Ключевое требование к операционной системе — Linux. Встроенная нативная поддержка Windows отсутствует. Для пользователей Windows единственным рабочим вариантом является использование подсистемы WSL (Windows Subsystem for Linux) с совместимым дистрибутивом Linux или использование неофициальных форков сообщества, таких как vllm-windows. Однако для продакшена и стабильной работы Linux остается обязательным. Версии Python, поддерживаемые vLLM, варьируются от 3.11 до 3.14. Это важно учитывать при создании виртуального окружения, чтобы избежать конфликтов зависимостей.⚠️
Важно. vLLM не работает на Windows нативно. Если у вас только ПК с Windows, вам придется настраивать WSL2 или арендовать Linux-сервер. Попытки запустить оригинальный vLLM напрямую в Windows приведут к ошибкам сборки.
02Выбор GPU: NVIDIA, AMD и Apple
Каждый вендор предлагает свой путь установки и свои ограничения по памяти. NVIDIA CUDA — это золотой стандарт. Поддержка самая широкая, от потребительских карт до серверных решений. Здесь вы найдете наибольшее количество готовых образов Docker и пресетов. Если вы хотите минимизировать головную боль при настройке, выбирайте NVIDIA. AMD ROCm становится все более актуальным благодаря доступности карт серии Radeon Pro и MI. Однако экосистема ROCm исторически требовала более тщательной настройки окружения и совместимости ядра Linux. Поддержка есть, но она менее «из коробки», чем у NVIDIA. Apple Silicon (M1/M2/M3/M4) использует унифицированную память. Это позволяет загружать очень большие модели, так как вся память доступна для GPU. Однако производительность инференса часто уступает топовым NVIDIA-решениям, хотя и превосходит их в энергоэффективности. Установка требует специфических флагов сборки для Apple Silicon.💡
Совет. Для старта и тестирования лучше всего подходят карты NVIDIA с большим объемом VRAM. Этого объема хватает для моделей среднего размера с квантованием. Если бюджет позволяет, берите более производительные модели — они предлагают лучшее соотношение цены и производительности для энтузиастов.
03Установка: Python и Docker
Существует два основных способа установки vLLM: через Python (pip) и через Docker. Оба метода требуют создания нового окружения Python. Через Python: Вам нужно создать виртуальное окружение, активировать его и установить пакет. Для NVIDIA CUDA обычно используется команда установки с указанием версии CUDA. Для AMD ROCm или Apple Silicon требуются отдельные флаги или специфические wheel-пакеты. Пример базовой установки для NVIDIA (концептуально, точная команда зависит от версии CUDA):terminalbash
pip install vllmterminalbash
docker run --gpus all -it vllm/vllm-openai:latest⚠️
Важно. При использовании Docker убедитесь, что драйверы GPU установлены на хост-машине корректно. Для NVIDIA это `nvidia-container-toolkit`. Без него контейнер не увидит видеокарту, даже если она есть в системе.
04Сколько VRAM нужно для моделей?
Хотя в исходных данных точные цифры токенов/с для конкретных моделей не приведены, логика выбора VRAM для vLLM строится на размере модели и типе квантования. vLLM использует PagedAttention, что позволяет эффективно управлять памятью, но базовые потребности остаются: | Модель (примерно) | Параметры | VRAM (FP16/BF16) | VRAM (INT8/INT4) | Примечание | | :--- | :--- | :--- | :--- | :--- | | Llama-3-8B | 8B | ~16-20 ГБ | ~6-8 ГБ | Хватит карт среднего уровня | | Llama-3-70B | 70B | ~140 ГБ | ~40-50 ГБ | Нужны серверные решения | | Mixtral-8x7B | 46B (active) | ~90 ГБ | ~24-30 ГБ | Сложная архитектура, требует много памяти | Реальность для РФ: Купить новые H100/A100 в России сложно и дорого из-за санкций. Основной доступный ресурс — это карты NVIDIA RTX 3090/4090 (б/у или новые) и AMD Radeon Pro. Для локального запуска моделей среднего размера одной карты достаточно. Для моделей крупнее потребуется мульти-GPU конфигурация, что значительно увеличивает стоимость входа. Аренда GPU в облаках часто выгоднее покупки железа для редких задач. Там доступны A100 и A10G, что позволяет запускать тяжелые модели без капитальных затрат.05Какое железо кому подойдёт
Для энтузиастов и разработчиков (бюИсточник: источник (тест/офиц. документация) ↗