Прорыв в точности и скорости
NVIDIA представила новые алгоритмы в библиотеке cuBLAS, которые решают вечную дилемму HPC-вычислений: скорость против точности. Используя фреймворк Automatic Dynamic Precision (ADP), библиотека теперь разбивает числа двойной точности (FP64) на целочисленные фрагменты, выполняет умножение на быстрых Tensor Cores и собирает точный результат. Это позволяет использовать аппаратное ускорение целочисленных операций для задач, требующих полной точности FP64, без изменения кода приложений.
Алгоритмы Ozaki-II и 2M
Ключевым улучшением стал алгоритм Ozaki-II, который использует Китайскую теорему об остатках (CRT) для снижения количества операций по сравнению с версией Ozaki-I. Также внедрен метод 2M для комплексных чисел, сокращающий количество реальных умножений с четырех до двух. cuBLAS автоматически выбирает оптимальный алгоритм (Ozaki-I или Ozaki-II) в зависимости от размера матриц и требований к точности.
Результаты бенчмарков
Тестирование на архитектурах NVIDIA VR NVL72, GB200 и RTX PRO 6000 показало впечатляющие результаты. Ниже приведены ключевые метрики ускорения:
| Метрика / Задача | Платформа | Ускорение |
|---|---|---|
| DGEMM (Ozaki-II) vs Native FP64 | NVIDIA VR NVL72 | 5.5x |
| DGEMM (Ozaki-II) vs Native FP64 | NVIDIA GB200 | 3.9x |
| ZGEMM (2M) vs Native CFP64 | NVIDIA GB200 | 5.0x |
| CCSD (квантовая химия) end-to-end | NVIDIA VR NVL72 (FP64) | 2.0x |
| CCSD (квантовая химия) end-to-end | NVIDIA GB200 (Mixed Precision) | 3.5x |
| BerkeleyGW (материаловедение) | NVIDIA VR NVL72 | 6.6x |
| BerkeleyGW (материаловедение) | NVIDIA GB200 | 3.9x |
Новая архитектура NVIDIA Rubin
Для будущих GPU NVIDIA Rubin представлена новая числовая форматы TI16 (12-битное целое число со знаком) и инструкция tcgen05.mma. Эти инструменты специально оптимизированы для ускорения вычислений по схемам Ozaki, обеспечивая еще более эффективную работу с остатками и модулями в алгоритмах двойной точности.
Как начать использовать
Для получения прироста производительности необходимо обновить CUDA Toolkit до версии 13.4.2. Библиотека работает автоматически, но разработчики могут вручную управлять стратегией эмуляции через API cublasSetEmulationStrategy и контролировать биты мантиссы. Образцы кода и документация доступны на GitHub и в официальной документации cuBLAS.
Источник: NVIDIA dev blog ↗
