Продолжение стратегии независимых оптимизаций
Несмотря на недавнее объявление о совместной работе AMD и Intel над оптимизациями для PyTorch и oneDNN (версия 3.14 уже включает базовые оптимизации Zen), компания продолжает параллельно развивать собственную библиотеку ZenDNN. Версия 6.1, выпущенная 4 ноября 2026 года, расширяет функционал, заложенный в релизе июля 2026 года, и предлагает значительные улучшения для стека инференса LowOHA.
Новые кастомные ядра для матричных умножений
Ключевое изменение в ZenDNN 6.1 — это внедрение специализированных ядер для операций MATMUL, которые критически важны для производительности нейросетей. AMD добавила поддержку различных форматов данных, что позволяет гибко настраивать баланс между скоростью и точностью вычислений. Особое внимание уделено форматам сжатия весов, таким как DA8W4 и DA8W8, которые снижают требования к пропускной способности памяти.
Технические детали оптимизаций
Обновление включает не только новые ядра, но и улучшения в области предварительной упаковки данных (prepacking). Ниже приведена сводка по поддерживаемым форматам и типам оптимизаций в ZenDNN 6.1:
| Компонент оптимизации | Поддерживаемые форматы данных | Значение для производительности |
|---|---|---|
| Кастомные ядра MATMUL | DA8W4, DA8W8, INT8, BF16, FP16 | Ускорение вычислений за счет использования архитектуры Zen |
| Симметричный INT8 prepacking | INT8 | Снижение накладных расходов при подготовке данных |
| Стек инференса LowOHA | FP16, DA8W4 | Оптимизация для задач с низкой точностью и высокой скоростью |
Почему это важно для разработчиков
Для пользователей, работающих с PyTorch на оборудовании AMD, ZenDNN 6.1 предлагает возможность получить прирост производительности без изменения кода модели, так как библиотека совместима с API oneDNN. Поддержка форматов DA8W4 и DA8W8 особенно актуальна для развертывания больших языковых моделей (LLM) в условиях ограниченных ресурсов памяти, позволяя запускать более крупные модели на существующем железе.
Полный исходный код и документацию к ZenDNN 6.1 можно найти на странице проекта в GitHub.
Источник: Phoronix ↗