В эпоху взрывного роста генеративного искусственного интеллекта вопрос доступности вычислительных ресурсов стал критическим. Долгое время экосистема больших языковых моделей (LLM) была монополией NVIDIA: стандарты де-факто, такие как CUDA, и оптимизированные библиотеки создавали высокий барьер для входа. Однако ситуация начинает меняться. Компания MLC (Machine Learning Compilation) представила решение, которое демонстрирует, что видеокарты AMD, в частности флагманская Radeon RX 7900 XTX, могут быть конкурентоспособной платформой для инференса LLM. Это не просто теоретическая возможность, а измеримая производительность, достигающая 80% от скорости NVIDIA RTX 4090 для моделей Llama 2. В этой статье мы подробно разберем, как это работает, какие технологии стоят за этим прорывом и что это значит для разработчиков и энтузиастов, использующих оборудование AMD.
Ключевым инструментом здесь выступает MLC-LLM — фреймворк, основанный на технологиях машинной компиляции. Вместо того чтобы писать специфические ядра (kernels) для каждого типа GPU, MLC-LLM автоматически генерирует оптимизированный код для различных бэкендов, включая ROCm для AMD, Metal для Apple, Vulkan и OpenCL. Это позволяет развертывать модели с высокой производительностью на широком спектре устройств: от серверных GPU до мобильных процессоров, таких как APU в Steam Deck. Мы рассмотрим технические детали, сравним характеристики железа, разберем процесс настройки и оценим практическую применимость этого подхода в условиях, когда доступ к передовому оборудованию NVIDIA может быть ограничен или дорог.
01Аппаратное сравнение: Почему AMD 7900 XTX — серьезный кандидат
Чтобы понять потенциал AMD в задачах инференса LLM, необходимо взглянуть на спецификации железа. Radeon RX 7900 XTX позиционируется как прямой конкурент NVIDIA GeForce RTX 4090 и RTX 3090 Ti в потребительском сегменте. Сравнение характеристик выявляет интересные параллели:
- Объем памяти: Все три карты имеют 24 ГБ видеопамяти. Это критически важно, так как позволяет загружать модели одного и того же размера (например, Llama 2 13B в квантованном виде) без необходимости использования внешних решений для распределения памяти.
- Пропускная способность памяти: У всех карт она находится на схожем уровне. Для инференса LLM, который часто является узким местом по пропускной способности памяти (memory-bound), это более важный параметр, чем чистая вычислительная мощность.
- Вычислительная мощность (FP16): Здесь NVIDIA имеет преимущество. RTX 4090 предлагает в 2 раза больше производительности FP16, чем 7900 XTX, а RTX 3090 Ti — в 1.3 раза больше. Однако, поскольку инференс LLM чаще упирается в пропускную способность памяти, а не в вычислительную мощность, это преимущество NVIDIA не является решающим в данном контексте.
- Цена: RX 7900 XTX стоит примерно на 40% дешевле, чем RTX 4090. Это делает её значительно более привлекательной с точки зрения соотношения цена/производительность для энтузиастов и небольших компаний.
Таким образом, с точки зрения аппаратных спецификаций, AMD 7900 XTX сопоставима с RTX 3090 Ti. Исторически отставание AMD в сфере ИИ было связано не с железом, а с отсутствием оптимизированного программного обеспечения. Именно этот разрыв начинает закрываться благодаря инвестициям AMD в стек ROCm и появлению технологий машинной компиляции.
02Машина компиляции: Как MLC-LLM решает проблему совместимости
Традиционный подход к оптимизации ИИ-моделей требует написания специфических ядер (kernels) для каждой архитектуры GPU. Для NVIDIA это CUDA, для AMD — ROCm/HIP, для Apple — Metal. Поддержка каждой платформы требует огромных инженерных усилий. MLC-LLM предлагает альтернативу: использование машинной компиляции (Machine Learning Compilation).
MLC-LLM построен на базе Apache TVM Unity, который предоставляет Python-first среду разработки. Фреймворк позволяет пользователю взять открытую языковую модель и скомпилировать её с помощью Python-воркфлоу. Процесс включает в себя:
- Трансформацию вычислительных графов: Оптимизация структуры модели для более эффективного выполнения.
- Оптимизацию раскладки и планирования: Настройка того, как данные располагаются в памяти GPU и как выполняются операции.
- Генерацию кода: Автоматическое создание низкоуровневого кода для целевого бэкенда (ROCm, Vulkan, Metal и др.).
Этот подход позволяет повторно использовать весь пайплайн MLC для существующих целей (таких как CUDA и Metal), включая планирование памяти и слияние операторов. Для поддержки AMD GPU разработчики MLC использовали TVM TensorIR для переадресации пространства оптимизации ядер GPU на AMD, а также стандартный поток генерации кода ROCm TVM, который создает низкоуровневые ядра через LLVM. Результат экспортируется в виде разделяемой или статической библиотеки, которую можно вызывать через CLI, Python или REST API.
03Производительность: Результаты бенчмарков
Для оценки реальной производительности команда MLC провела бенчмарки моделей Llama 2 7B и 13B с 4-битным квантованием. Измерялась производительность декодирования при установке одного токена промпта и генерации 512 токенов. Все результаты получены для инференса с одним батчем (single batch inference).
Ключевые результаты:
- По сравнению с RTX 4090: AMD Radeon RX 7900 XTX достигает 80% скорости NVIDIA RTX 4090. Это впечатляющий результат, учитывая, что 4090 является одним из самых мощных потребительских GPU на рынке.
- По сравнению с RTX 3090 Ti: 7900 XTX показывает 94% скорости от RTX 3090 Ti. Учитывая, что 3090 Ti — это предыдущее поколение, это ставит 7900 XTX в один ряд с флагманами прошлого поколения NVIDIA.
Важно отметить, что эти результаты были получены с использованием ROCm 5.6. Команда MLC подчеркивает, что их CUDA-базлайн является state-of-the-art для данной задачи. Они предполагают, что с появлением новых оптимизаций (например, улучшенных оптимизаций внимания), производительность как AMD, так и NVIDIA улучшится. Однако, если такие оптимизации будут реализованы только на стороне NVIDIA, разрыв может увеличиться с 20% до 30%. Поэтому рекомендуется учитывать погрешность в 10% при сравнении этих цифр.
04Практическое применение: Запуск на Steam Deck через Vulkan
Одним из самых интересных аспектов работы MLC-LLM является его способность работать не только с десктопными GPU через ROCm, но и с другими устройствами AMD через Vulkan. Ярким примером служит Steam Deck, оснащенный APU от AMD.
Обычно в BIOS Steam Deck объем VRAM, доступный для использования, ограничен 4 ГБ. Однако драйвер Mesa Vulkan обладает надежной поддержкой единой памяти (unified memory), которая позволяет буферу выходить за этот лимит, используя до 16 ГБ общей системной памяти. Этого объема достаточно для запуска 4-битной квантованной модели Llama-7B.
Это открытие открывает путь к поддержке широкого спектра устройств AMD для более разнообразной аудитории потребителей. Инференс LLM становится возможным на портативных консолях, что ранее было практически нереализуемо без серьезных компромиссов в скорости или качестве.
05Как запустить MLC-LLM на AMD GPU самостоятельно
Команда MLC предоставляет предварительно собранные пакеты (wheels) и инструкции для воспроизведения результатов на собственных устройствах. Для запуска бенчмарков требуется AMD GPU с установленным Linux и ROCm версии 5.6 или выше.
Процесс установки включает следующие шаги:
- Следуйте инструкциям на официальном сайте MLC для установки предварительно собранного пакета MLC с включенной поддержкой ROCm.
- Запустите Python-скрипт, использующий пакет MLC для воспроизведения чисел производительности.
Ниже приведен пример кода для запуска бенчмарка:
from mlc_chat import ChatModule
# Создайте экземпляр ChatModule, загружая из `./dist/prebuilt/Llama-2-7b-chat-hf-q4f16_1`
cm = ChatModule(model="Llama-2-7b-chat-hf-q4f16_1")
# Запустите бенчмарк
output = cm.benchmark_generate("Hi", generate_length=512)
print(f"Generated text:\n{output}")
print(f"Statistics:\n{cm.stats()}")
# Сбросьте модуль чата, если необходимо
# cm.reset_chat()MLC-LLM также предоставляет CLI (интерфейс командной строки) для интерактивного общения с моделью. Для ROCm требуется сборка CLI из исходного кода. Следуйте инструкциям на GitHub-репозитории проекта для сборки CLI из исходников.
06Обсуждение и будущие направления
Доступность аппаратного обеспечения стала острой проблемой в эпоху генеративного ИИ. Машинная компиляция может помочь, обеспечивая высокопроизводительное универсальное развертывание across hardware backends. Представленные доказательства показывают, что при правильной цене и доступности AMD GPU могут начать быть полезными для инференса LLM.
Настоящее исследование сосредоточено на потребительских GPU. Однако, основываясь на прошлом опыте, оптимизации MLC для моделей потребительских GPU обычно обобщаются на облачные GPU (например, от RTX 4090 до A100 и A10g). Команда уверена, что решение обобщается на облачные и потребительские GPU AMD и NVIDIA, и планирует обновить исследование, как только получит доступ к большему количеству GPU.
В будущем команда MLC планирует:
- Включить поддержку батчинга и мульти-GPU.
- Интегрироваться с экосистемой PyTorch.
- Расширить поддержку квантования и архитектур моделей.
- Добавить больше автоматических оптимизаций для других аппаратных бэкендов.
07Что это значит на практике
Для разработчиков и энтузиастов ИИ, работающих в условиях ограничений (санкционных, финансовых или логистических), результаты MLC-LLM открывают новые горизонты. Видеокарты AMD, такие как RX 7900 XTX, перестают быть просто альтернативой для игр и становятся полноценными инструментами для локального запуска больших языковых моделей.
1. Доступность: Возможность использовать ROCm и Vulkan позволяет запускать LLM на оборудовании, которое может быть более доступно или дешевле, чем аналоги NVIDIA. Это особенно актуально для пользователей в регионах, где покупка NVIDIA GPU затруднена.
2. Гибкость: Универсальность MLC-LLM означает, что один и тот же код может быть скомпилирован для разных устройств. Вы можете разработать модель на сервере с NVIDIA, а затем развернуть её на настольном ПК с AMD или даже на портативной консоли Steam Deck.
3. Производительность: Хотя NVIDIA все еще лидирует, разрыв сокращается. Для многих задач инференса, где важна не максимальная скорость, а стоимость владения и доступность, AMD становится вполне приемлемым выбором. 80% от скорости 4090 — это очень хороший результат, который позволяет интерактивно работать с моделями среднего размера.
4. Сообщество и открытость: Проект MLC-LLM активно развивается и поддерживает открытое сообщество. Пользователи могут вносить свой вклад, сообщать об ошибках и предлагать улучшения. Это создает здоровую экосистему, которая развивается быстрее, чем проприетарные решения.
В заключение, интеграция MLC-LLM с AMD GPU через ROCm и Vulkan демонстрирует, что машинная компиляция является ключом к преодолению фрагментации аппаратного обеспечения в ИИ. Это не только делает AMD GPU конкурентоспособными, но и открывает путь к универсальному развертыванию LLM на самых разных устройствах, от серверов до портативных консолей. Для тех, кто ищет способ запустить LLM локально без зависимости от экосистемы NVIDIA, MLC-LLM предлагает мощный, гибкий и производительный инструмент.
Если вы хотите попробовать MLC-LLM на своем оборудовании AMD, посетите официальный GitHub-репозиторий и присоединяйтесь к Discord-каналу для обсуждения и получения поддержки. Открытое сообщество и активная разработка делают этот проект одним из самых перспективных в области универсального развертывания ИИ.
Источник: Hacker News ↗