Запуск больших языковых моделей (LLM) на видеокартах AMD в среде Linux — это не просто альтернатива NVIDIA, а часто единственно возможный путь для владельцев потребительских карт или серверных MI-серий. Основной движок для этого — llama.cpp, который благодаря бэкенду HIP (ROCm) позволяет эффективно использовать VRAM AMD. Однако, в отличие от CUDA, здесь нет «магической кнопки», а есть строгие требования к версии драйверов, ядра Linux и правильным флагам сборки.
01Подготовка окружения и сборка
Первый шаг — получение исходного кода. Проект llama.cpp активно развивается, поэтому актуальная версия критична для поддержки новых архитектур GPU.
git clone https://github.com/ggml-org/llama.cpp
cd llama.cppДля сборки с поддержкой AMD GPU (ROCm/HIP) необходимо использовать флаг -DGGML_HIP=ON. Важно отметить, что ROCm работает преимущественно в Linux. На Windows поддержка AMD ограничена и часто требует WSL2 с дополнительными настройками, что не рекомендуется для продакшена.
Базовая команда сборки для Linux с включенным HIP:
cmake -B build -DGGML_HIP=ON
cmake --build build --config Release -j $(nproc)Если вы используете дистрибутивы на базе Debian/Ubuntu, убедитесь, что у вас установлены заголовочные файлы ROCm. Для Fedora и RHEL/Alma/Rocky процесс аналогичен, но пакеты называются иначе (например, rocm-dev).
02Альтернативные бэкенды: Vulkan и OpenCL
Если ROCm вызывает трудности (например, на старых картах или специфичных дистрибутивах), llama.cpp поддерживает бэкенд Vulkan. Он работает кроссплатформенно и часто проще в установке, так как не требует сложной настройки окружения ROCm.
Сборка с Vulkan:
cmake -B build -DGGML_VULKAN=ON
cmake --build build --config ReleaseТакже доступен бэкенд OpenCL (-DGGML_OPENCL=ON), который позволяет использовать видеокарты AMD, Intel и NVIDIA через единый интерфейс. Однако производительность OpenCL обычно ниже, чем у нативных HIP/Vulkan решений, особенно при работе с большими батчами.
03Оптимизация и BLAS
Для ускорения обработки промптов (prompt processing) при больших батчах рекомендуется использовать BLAS-библиотеки. Для AMD CPU-инференса или гибридных сценариев доступны специализированные BLAS-решения.
Пример сборки с BLAS:
source /opt/aocl//aocc/MT/amd-libs.cfg
cmake -B build -DGGML_BLAS=ON -DGGML_BLAS_VENDOR=AOCL_mt -DBLAS_INCLUDE_DIRS="${AOCL_ROOT}/include" -DGGML_NATIVE=ON
cmake --build build --config Release Обратите внимание: BLAS ускоряет только этап промпта, но не генерацию токенов. Для самой генерации критичен объем VRAM и скорость памяти GPU.
ccache. Это значительно ускорит повторные компиляции при обновлении кода или смене флагов сборки.04Реальность VRAM и производительности
В отличие от NVIDIA, где есть четкая привязка к моделям A100/H100, у AMD экосистема более фрагментирована. Однако, благодаря квантованию (GGUF форматы), можно запускать модели различных размеров даже на картах с ограниченным объемом памяти.
Требования к VRAM зависят от размера модели и степени квантования. Для моделей в формате Q4_K_M (стандарт для баланса скорость/качество) объем требуемой памяти варьируется в зависимости от архитектуры:
| Модель | Параметры | Необходимо VRAM | Примеры GPU AMD |
|---|---|---|---|
| Модель 8B | 8B | умеренный объем | потребительские карты среднего класса |
| Модель 7B | 7B | умеренный объем | потребительские карты среднего класса |
| Модель 70B | 70B | значительный объем | серверные решения или связки карт |
На потребительских картах с ограниченным объемом VRAM можно запустить крупные модели, но с сильным квантованием или через split-инференс (часть слоев на GPU, часть на CPU/RAM). Скорость инференса на топовых потребительских картах для средних моделей может быть заметно выше, чем у аналогов NVIDIA в некоторых сценариях.
05Какое железо кому подойдёт
Бюджетный уровень
AMD Radeon RX 6600 / 6650 XT (8 ГБ). Отличный входной билет. Позволяет запускать модели 7B-8B в полном объеме. ROCm работает стабильно. Это лучший выбор для старта, так как цена/VRAM здесь выше, чем у аналогов NVIDIA.
Средний уровень
AMD Radeon RX 7900 GRE (16 ГБ) или RX 7800 XT (16 ГБ). 16 ГБ VRAM открывают доступ к моделям 13B-20B в квантовании Q4/Q5. RX 7900 GRE имеет более высокую пропускную способность памяти, что критично для скорости генерации.
Топовый потребительский уровень
AMD Radeon RX 7900 XTX (24 ГБ). Флагман. Позв
Источник: источник (тест/офиц. документация) ↗