Эксперимент: 50 моделей за 72 часа
Команда AMD во главе с инженерами Джереми Фауэрсом (Jeremy Fowers) и Беном Ванником (Ben Vanik) провела эксперимент по адаптации популярных моделей больших языковых моделей (LLM) с платформы Hugging Face для клиентских GPU AMD. Ключевым инструментом стал новый фреймворк HRX Loom v0.1, интегрированный с workflow AI-агентов. Результат превзошел ожидания: 50 моделей, охватывающих 18 различных архитектур, были успешно портированы и оптимизированы всего за 3–4 дня.
Производительность: сравнение с Llama.cpp
Эксперимент проводился на базе процессоров Ryzen AI Max "Strix Halo" (включая решения для Framework Desktop). Основным показателем эффективности стало время обработки промпта длиной 32K токенов. HRX Loom показал значительное преимущество перед существующими бэкендами Llama.cpp, особенно в сравнении с Vulkan-версией.
| Метрика / Сравнение | Результат ускорения | Примечание |
|---|---|---|
| HRX Loom vs Llama.cpp (ROCm) | 1.5x – 2.1x | Среднее ускорение обработки 32K токенов |
| HRX Loom vs Llama.cpp (Vulkan) | 1.9x | Значительный прирост производительности |
| Скорость портирования | 50 моделей за 3-4 дня | Благодаря AI-агентному workflow |
Техническая реализация и AI-агенты
Секрет высокой скорости портирования кроется в компоненте loom-skills. Этот модуль позволяет AI-агентам, таким как Claude Code, Codex или Pi, самостоятельно авторизовывать и обслуживать оптимизированные модели для GPU AMD. Вместо ручного написания кода под конкретное железо, инженеры делегировали рутинную работу AI, который генерировал необходимый код для Strix Halo. При этом HRX Loom остается экспериментальным проектом, но уже демонстрирует поддержку не только GPU, но и CPU/NPU выполнения.
Почему это важно для индустрии
Этот кейс демонстрирует сдвиг парадигмы в разработке ПО для AI. Раньше портирование новых, нишевых моделей LLM на новое железо занимало недели работы инженеров. Использование AI-агентов сокращает этот процесс до дней. Для пользователей AMD это означает более быструю доступность актуальных моделей на их устройствах (Ryzen AI Max, Framework Desktop), а для разработчиков — новый стандарт автоматизации оптимизации под аппаратное обеспечение.
Полный код эксперимента и результаты доступны на странице Loom-Fun GitHub.
Источник: Phoronix ↗
