vLLM на GPU: требования, VRAM и выбор железа для инференса LLM

vLLM — это высокопроизводительная библиотека для инференса больших языковых моделей (LLM), которая стала стандартом де-факто благодаря своей эффективности. Однако за скоростью скрываются строгие аппаратные требования. В этой статье разберём, какое железо нужно для запуска vLLM, как правильно установить среду и на что обратить внимание при выборе GPU в условиях российского рынка.

01Поддерживаемые платформы и GPU

vLLM — это Python-библиотека, которая официально поддерживает несколько архитектур GPU. Выбор платформы зависит от того, какое оборудование у вас есть под рукой или что вы готовы арендовать/купить.

NVIDIA CUDA

Это основной и наиболее поддерживаемый вариант. vLLM отлично работает на современных GPU NVIDIA, демонстрируя заметно более высокую производительность на последних поколениях архитектур. Для работы требуется драйвер NVIDIA и CUDA Toolkit.

AMD ROCm

Поддержка AMD GPU через ROCm доступна, но требует более тщательной настройки. Поддерживаются различные модели видеокарт AMD. Важно: поддержка AMD в Linux-окружении часто требует специфических версий ядра и драйверов, что может быть сложнее в настройке, чем у NVIDIA.

Apple Silicon

vLLM поддерживает чипы Apple Silicon. Благодаря единой архитектуре памяти (Unified Memory), вы можете загружать модели, размер которых превышает физический объем VRAM, используя системную память. Это делает Mac отличным выбором для прототипирования и работы с моделями среднего размера без покупки дорогих серверных GPU.

Intel XPU

Поддержка GPU Intel также присутствует, но экосистема всё ещё развивается. Рекомендуется проверять актуальные списки совместимости перед покупкой специализированного оборудования.

02Требования к системе

Для стабильной работы vLLM необходимы следующие базовые компоненты:

• Операционная система: Linux. macOS поддерживается только для Apple Silicon.
• Python: Версии от 3.11 до 3.14. Использование более старых версий Python может привести к ошибкам сборки зависимостей.

03Установка vLLM

Существует два основных способа установки: через pre-built wheels (готовые пакеты) и сборка из исходного кода. Для большинства пользователей рекомендуется первый вариант.

Создание виртуального окружения

Всегда создавайте изолированное окружение, чтобы избежать конфликтов зависимостей:

python -m venv vllm-env
source vllm-env/bin/activate

Установка через pip (NVIDIA CUDA)

Если у вас GPU NVIDIA, используйте следующие команды для установки последней версии с поддержкой CUDA:

pip install vllm

Для AMD ROCm:

pip install vllm --extra-index-url https://download.pytorch.org/whl/rocm6.0

Для Apple Silicon:

pip install vllm

Сборка из исходного кода

Если вам нужны последние исправления или специфические флаги оптимизации, можно собрать vLLM из исходников. Это требует наличия CUDA Toolkit (для NVIDIA) или ROCm (для AMD), а также компилятора C++.

git clone https://github.com/vllm-project/vllm.git
cd vllm
pip install -e .

04Сколько VRAM нужно для LLM?

Объем видеопамяти (VRAM) — главный ограничитель при выборе железа. vLLM использует PagedAttention, что позволяет эффективно управлять памятью, но базовые требования остаются:

• Модели среднего размера: Достаточно определенного объема VRAM, который зависит от конкретной модели и метода квантования. Для комфортной работы с контекстом часто требуется больше памяти, чем минимально необходимое для загрузки весов.
• Крупные модели: Требуется значительный объем VRAM. Здесь вступают в игру мощные видеокарты, которые часто объединяют, или профессиональные серверные решения.
• Очень большие модели: Необходимы мульти-GPU конфигурации или специализированные серверные решения.

На Apple Silicon объем памяти не ограничен VRAM, а зависит от общей RAM Mac. Мощные конфигурации Mac позволят запустить очень большие модели, albeit с меньшей скоростью, чем на NVIDIA.

05Реальность рынка в РФ

В условиях санкций прямые поставки NVIDIA в Россию затруднены. Однако:

• Потребительские флагманы: Доступны на вторичном рынке и через параллельный импорт. Они остаются популярным выбором для домашних серверов LLM благодаря соотношению цена/память.
• Профессиональные решения: Практически

  Источник: источник (тест/офиц. документация) ↗

  #vLLM#LLM#GPU#NVIDIA#AMD#Apple Silicon#Инференс