AIKraft Agents
Главная/Блог/Обзор/Инференс LLM на AMD Radeon: гайд по…
Обзор4 мин чтения · 22 октября 2026 г.

Инференс LLM на AMD Radeon: гайд по сборке llama.cpp через ROCm

Реальный разбор запуска LLM на видеокартах AMD в Linux. Разбираем флаги сборки HIP/Vulkan, подводные камни ROCm и подбираем железо для инференса.

Запуск больших языковых моделей (LLM) на видеокартах AMD в среде Linux — это не просто альтернатива NVIDIA, а часто единственно возможный путь для владельцев потребительских карт или серверных MI-серий. Основной движок для этого — llama.cpp, который благодаря бэкенду HIP (ROCm) позволяет эффективно использовать VRAM AMD. Однако, в отличие от CUDA, здесь нет «магической кнопки», а есть строгие требования к версии драйверов, ядра Linux и правильным флагам сборки.

01Подготовка окружения и сборка

Первый шаг — получение исходного кода. Проект llama.cpp активно развивается, поэтому актуальная версия критична для поддержки новых архитектур GPU.

terminalbash
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp

Для сборки с поддержкой AMD GPU (ROCm/HIP) необходимо использовать флаг -DGGML_HIP=ON. Важно отметить, что ROCm работает преимущественно в Linux. На Windows поддержка AMD ограничена и часто требует WSL2 с дополнительными настройками, что не рекомендуется для продакшена.

Базовая команда сборки для Linux с включенным HIP:

terminalbash
cmake -B build -DGGML_HIP=ON
cmake --build build --config Release -j $(nproc)

Если вы используете дистрибутивы на базе Debian/Ubuntu, убедитесь, что у вас установлены заголовочные файлы ROCm. Для Fedora и RHEL/Alma/Rocky процесс аналогичен, но пакеты называются иначе (например, rocm-dev).

⚠️
Важно. Версия ROCm должна соответствовать версии драйвера ядра. Несоответствие версий часто приводит к ошибкам инициализации GPU на этапе запуска модели. Всегда проверяйте совместимость в официальных таблицах AMD.

02Альтернативные бэкенды: Vulkan и OpenCL

Если ROCm вызывает трудности (например, на старых картах или специфичных дистрибутивах), llama.cpp поддерживает бэкенд Vulkan. Он работает кроссплатформенно и часто проще в установке, так как не требует сложной настройки окружения ROCm.

Сборка с Vulkan:

terminalbash
cmake -B build -DGGML_VULKAN=ON
cmake --build build --config Release

Также доступен бэкенд OpenCL (-DGGML_OPENCL=ON), который позволяет использовать видеокарты AMD, Intel и NVIDIA через единый интерфейс. Однако производительность OpenCL обычно ниже, чем у нативных HIP/Vulkan решений, особенно при работе с большими батчами.

03Оптимизация и BLAS

Для ускорения обработки промптов (prompt processing) при больших батчах рекомендуется использовать BLAS-библиотеки. Для AMD CPU-инференса или гибридных сценариев доступны специализированные BLAS-решения.

Пример сборки с BLAS:

terminalbash
source /opt/aocl//aocc/MT/amd-libs.cfg
cmake -B build -DGGML_BLAS=ON -DGGML_BLAS_VENDOR=AOCL_mt -DBLAS_INCLUDE_DIRS="${AOCL_ROOT}/include" -DGGML_NATIVE=ON
cmake --build build --config Release

Обратите внимание: BLAS ускоряет только этап промпта, но не генерацию токенов. Для самой генерации критичен объем VRAM и скорость памяти GPU.

💡
Совет. Если вы собираете проект для повторного использования, установите ccache. Это значительно ускорит повторные компиляции при обновлении кода или смене флагов сборки.

04Реальность VRAM и производительности

В отличие от NVIDIA, где есть четкая привязка к моделям A100/H100, у AMD экосистема более фрагментирована. Однако, благодаря квантованию (GGUF форматы), можно запускать модели различных размеров даже на картах с ограниченным объемом памяти.

Требования к VRAM зависят от размера модели и степени квантования. Для моделей в формате Q4_K_M (стандарт для баланса скорость/качество) объем требуемой памяти варьируется в зависимости от архитектуры:

Модель Параметры Необходимо VRAM Примеры GPU AMD
Модель 8B 8B умеренный объем потребительские карты среднего класса
Модель 7B 7B умеренный объем потребительские карты среднего класса
Модель 70B 70B значительный объем серверные решения или связки карт

На потребительских картах с ограниченным объемом VRAM можно запустить крупные модели, но с сильным квантованием или через split-инференс (часть слоев на GPU, часть на CPU/RAM). Скорость инференса на топовых потребительских картах для средних моделей может быть заметно выше, чем у аналогов NVIDIA в некоторых сценариях.

⚠️
Важно. Не пытайтесь запускать модели, размер которых превышает доступный VRAM. llama.cpp попытается перенести лишние слои на CPU, что приведет к катастрофическому падению скорости. Всегда проверяйте сумму размеров весов модели и контекстного окна.

05Какое железо кому подойдёт

Бюджетный уровень

AMD Radeon RX 6600 / 6650 XT (8 ГБ). Отличный входной билет. Позволяет запускать модели 7B-8B в полном объеме. ROCm работает стабильно. Это лучший выбор для старта, так как цена/VRAM здесь выше, чем у аналогов NVIDIA.

Средний уровень

AMD Radeon RX 7900 GRE (16 ГБ) или RX 7800 XT (16 ГБ). 16 ГБ VRAM открывают доступ к моделям 13B-20B в квантовании Q4/Q5. RX 7900 GRE имеет более высокую пропускную способность памяти, что критично для скорости генерации.

Топовый потребительский уровень

AMD Radeon RX 7900 XTX (24 ГБ). Флагман. Позв

Источник: источник (тест/офиц. документация) ↗