AIKraft Agents
Главная/Блог/Гайд/Ускорение научных симуляций: cuBLAS,…
Гайд9 мин чтения · 14 ноября 2026 г.

Ускорение научных симуляций: cuBLAS, FP64 и новые алгоритмы

NVIDIA представила алгоритмы Ozaki-II и 2M в CUDA Toolkit 13.4.2, позволяющие ускорить вычисления двойной точности (FP64) на Tensor Cores без потери точности. Разбираем, как это работает и какие результаты дает на VR NVL72 и GB200.

Ускорение научных симуляций: cuBLAS, FP64 и новые алгоритмы

В мире высокопроизводительных вычислений (HPC) и научных симуляций точность часто является не просто желательной, а критически важной характеристикой. Многие задачи — от квантовой химии до моделирования материалов — требуют вычислений с двойной точностью (FP64). Однако исторически существовал компромисс: аппаратные ускорители, такие как Tensor Cores в GPU NVIDIA, были оптимизированы для более низких разрядностей (FP16, BF16, INT8), что делало вычисления в FP64 относительно медленными по сравнению с их потенциалом в других форматах.

С выходом CUDA Toolkit 13.4.2 ситуация кардинально меняется. NVIDIA внедрила новые алгоритмы — Ozaki-II и 2M — в библиотеку cuBLAS, которые позволяют выполнять операции матричного умножения двойной точности на быстрых целочисленных Tensor Cores, сохраняя при этом полную точность FP64. Это не просто оптимизация кода; это фундаментальное изменение подхода к эмуляции плавающей точки на аппаратном уровне. В этой статье мы подробно разберем, как работают эти алгоритмы, какие результаты они показывают на новейших архитектурах, таких как NVIDIA VR NVL72 и GB200, и как исследователи могут применить эти технологии в своих работах.

01Проблема точности и скорость Tensor Cores

Многие научные симуляции, от молекулярной химии до науки о материалах, проводят большую часть времени выполнения, вычисляя плотные общие матричные умножения (GEMM). В терминологии BLAS (Basic Linear Algebra Subprograms) эти операции обозначаются как DGEMM для вещественных чисел двойной точности и ZGEMM для комплексных чисел двойной точности. Библиотека cuBLAS является стандартом де-факто для ускорения этих операций на GPU NVIDIA.

Быстрое развитие аппаратного обеспечения для низкоточных вычислений (ниже FP64) стимулировало поиск новых алгоритмов, которые могли бы использовать мощь Tensor Cores для задач, требующих высокой точности. Традиционно, если приложению требовалась полная точность FP64, оно было вынуждено использовать нативные инструкции FP64, которые работают медленнее, чем целочисленные или низкоточные Tensor Cores. Новая парадигма, реализованная в рамках фреймворка Automatic Dynamic Precision (ADP), позволяет "разбивать" числа двойной точности на целочисленные части, выполнять умножение на быстрых Tensor Cores и затем собирать точный результат обратно. Это дает возможность получить скорость аппаратных ускорителей, не жертвуя ни одной цифрой в вычислениях.

02От Ozaki-I к Ozaki-II: эволюция алгоритма

Алгоритмы Ozaki-I и Ozaki-II разделяют общий первый шаг: они выравнивают экспоненты входных матриц и преобразуют их в представление с общей экспонентой и переменной длиной целых чисел. Это позволяет точно накапливать произведения на целочисленных Tensor Cores. Однако ключевое различие заключается в том, как выполняется умножение больших целых чисел.

Алгоритм Ozaki-I, представленный в предыдущих версиях, разбивает каждое большое целое число на 8-битные срезы. Умножение срезов матрицы A на срезы матрицы B происходит по треугольному паттерну, что приводит к квадратичному росту количества операций GEMM Tensor Core относительно количества срезов. Это ограничивало эффективность при высоких требованиях к точности.

Ozaki-II использует более быстрый алгоритм умножения больших целых чисел, основанный на Китайской теореме об остатках (CRT). Вместо разбивки на срезы, Ozaki-II приводит каждый квантованный операнд по модулю набора попарно взаимно простых малых целых чисел. Затем выполняется ровно одно целочисленное GEMM для каждого модуля, и точное произведение восстанавливается из остатков. Благодаря этому количество операций GEMM линейно зависит от числа модулей, а не квадрата количества срезов, как в Ozaki-I. Это преимущество становится тем заметнее, чем выше требуемая точность. Для достижения точности, эквивалентной FP64, Ozaki-I требует примерно в два раза больше операций Tensor Core GEMM, чем Ozaki-II.

Визуализация принципа работы алгоритма Ozaki-II с использованием Китайской теоремы об остатках (CRT).
Визуализация принципа работы алгоритма Ozaki-II с использованием Китайской теоремы об остатках (CRT).
💡
Важно о памяти. Поскольку Ozaki-II материализует пару остатков для каждого модуля, наивная реализация потребовала бы значительно больше рабочей памяти, чем Ozaki-I. Однако cuBLAS применяет ту же экономичную по памяти технику тайлинга, которая была введена для Ozaki-I в CUDA Toolkit 13.3, и к схеме Ozaki-II. Это позволяет отбрасывать каждую пару остатков сразу после выполнения GEMM, обеспечивая управляемый размер рабочей области.

03Комплексные матрицы: переход от 4M к 2M

Особый интерес представляет ускорение комплексных матричных умножений (ZGEMM). Традиционно комплексное матричное умножение вычисляется как четыре вещественных GEMM (метод 4M). Для комплексных чисел A и B: $$A = A_r + i(A_i); \quad B = B_r + i(B_i)$$ $$C = A \times B = (A_r \cdot B_r - A_i \cdot B_i) + i(A_r \cdot B_i + A_i \cdot B_r)$$ Существует известный алгоритм 3M, который снижает количество вещественных умножений до трех, добавляя предварительную и последующую обработку. Однако в плавающей арифметике метод 3M используется с осторожностью, так как сложение и вычитание промежуточных продуктов может снизить численную стабильность.

В контексте схемы Ozaki-II все сложения, вычитания и произведения являются точными целочисленными операциями. Это означает, что выбор метода комплексного умножения больше не влияет на точность результата. Хотя умножение двух комплексных чисел не может быть выполнено менее чем за три вещественных умножения, матричные произведения в этой точной целочисленной среде не ограничены этим правилом. Алгоритм 2M вычисляет комплексное произведение всего с двумя вещественными GEMM вместо четырех. В результате стоимость ZGEMM становится примерно равной стоимости двух вещественных GEMM того же размера, а не четырех, как раньше.

Схема перехода от традиционного метода 4M к оптимизированному методу 2M для комплексных матриц.
Схема перехода от традиционного метода 4M к оптимизированному методу 2M для комплексных матриц.

04Результаты производительности: VR NVL72 и GB200

Внедрение этих алгоритмов в CUDA Toolkit 13.4.2 привело к впечатляющим результатам на новейшем оборудовании NVIDIA. Ниже приведены ключевые показатели ускорения:

  • DGEMM с Ozaki-II: Работает в 5,5 раза быстрее нативного FP64 на NVIDIA VR NVL72 и в 3,9 раза быстрее на NVIDIA GB200. Также он в 2 раза быстрее, чем Ozaki-I на GB200.
  • ZGEMM с алгоритмом 2M: Достигает ускорения в 5 раз по сравнению с нативным Complex FP64 (CFP64) на NVIDIA GB200.
  • Пиковая производительность: cuBLAS DGEMM с Ozaki-II достигает до 175 TFLOPS на NVIDIA VR NVL72, 147 TFLOPS на NVIDIA GB200 и 37 TFLOPS на NVIDIA RTX PRO 6000.

Эти цифры демонстрируют, что использование целочисленных Tensor Cores для задач двойной точности не только возможно, но и значительно эффективнее традиционных методов, особенно на архитектурах с высокой пропускной способностью целочисленных вычислений.

График ускорения DGEMM с алгоритмом Ozaki-II на различных размерах матриц.
График ускорения DGEMM с алгоритмом Ozaki-II на различных размерах матриц.

05Практический кейс: Квантовая химия (CCSD)

Для демонстрации реальной пользы алгоритма Ozaki-II DGEMM был рассмотрен метод связанных кластеров с одинарными и двойными возбуждениями (CCSD). Это фундаментальный метод пост-DFT в электронной структуре, который вместе с поправкой на возмущения (T) образует "золотой стандарт" квантовой химии. Метод известен своей высокой стоимостью из-за плотных тензорных сокращений FP64.

Исследователи реализовали демонстрационную версию CCSD, используя cuBLAS в CTK 13.4.2 для основных тензорных сокращений. Были протестированы пять средних представителей базы данных S22 (системы из 24–28 атомов и около 590–630 атомных орбиталей). Результаты показали:

  • При использовании гарантии точности FP64 (ESC), ускорение от GPU Rubin по сравнению с A100 составило 4,7 раза.
  • В специфичном для приложения режиме смешанной точности с фиксированным бюджетом бит мантиссы в 32 бита, общее ускорение по сравнению с нативным FP64 на A100 достигло 11,5 раз. При этом ошибки в корреляционной энергии CCSD составили менее $10^{-10}$, что достаточно для большинства практических приложений.

На GPU Rubin для димера урацила фиксированная точность с 32 битами мантиссы обеспечила сквозную пропускную способность 173 TFLOPS, а пиковая пропускная способность отдельных GEMM достигла 368 TFLOPS. Это открывает возможности для использования более низких фиксированных точностей без потери необходимой для науки точности.

Результаты тестирования квантово-химических расчетов CCSD с использованием алгоритма Ozaki-II.
Результаты тестирования квантово-химических расчетов CCSD с использованием алгоритма Ozaki-II.

06Практический кейс: Наука о материалах (BerkeleyGW)

Код BerkeleyGW используется исследователями для изучения физических свойств материалов, возникающих в результате изменения энергетических состояний электронов. Это массово параллельный код, который ранее использовался на суперкомпьютерах лидерского класса. Использование GPU с BerkeleyGW уже давало ускорение в 86 раз по сравнению с реализацией только на CPU, но новые улучшения cuBLAS позволили пойти дальше.

По умолчанию cuBLAS использует фреймворк ADP для определения параметров, обеспечивающих точность, сравнимую или лучшую, чем стандартный алгоритм комплексной плавающей точки (CFP64) в процедуре CHISUM модуля Epsilon BerkeleyGW. Это происходит автоматически, без изменений в коде приложения. Тестирование показало, что конфигурации с нативным ZGEMM, Ozaki-II 2M с ADP и Ozaki-II 2M с 53 битами дают одинаковые элементы матрицы Epsilon с точностью до 10 десятичных знаков.

На GPU GB200 переход от нативного ZGEMM к Ozaki-II 2M с 53 битами обеспечил сквозное ускорение в 3,9 раза. На VR NVL72 это ускорение составило 6,6 раза. В целом, переход от нативного ZGEMM на Blackwell к ZGEMM с использованием Ozaki-II 2M с 53 битами на VR NVL72 дал ускорение 5,8 раза. Это подтверждает эффективность подхода для крупномасштабных симуляций материалов.

07Роль новой архитектуры NVIDIA Rubin

Архитектура NVIDIA Rubin вносит важный вклад в ускорение вычислений по схеме Ozaki. Rubin представляет новый числовой формат TI16 (12-битное целое число в формате со знаком с диапазоном от -2047 до +2047), который идеально подходит для ускорения вычислений по схеме Ozaki. cuBLAS 13.4 использует тип TI16 для ускорения вычислений Ozaki-I и Ozaki-II через инструкцию tcgen05.mma на GPU NVIDIA Rubin (вычислительная способность 10.7). Это позволяет еще больше оптимизировать использование ресурсов GPU для этих специфических задач.

08Что это значит на практике

Для исследователей и разработчиков HPC-приложений внедрение алгоритмов Ozaki-II и 2M в cuBLAS означает возможность получить значительное ускорение вычислений двойной точности без необходимости переписывать код или жертвовать точностью. Вот основные шаги для начала работы:

  1. Обновите CUDA Toolkit: Скачайте и установите последнюю версию NVIDIA CUDA Toolkit (версии 13.4.2 и выше), чтобы получить доступ к новым алгоритмам cuBLAS.
  2. Изучите документацию: Ознакомьтесь с разделом документации cuBLAS, посвященным эмуляции с плавающей точкой. Там подробно описаны API, включая функции cublasSetEmulationStrategy() и ручной контроль битов мантиссы.
  3. Попробуйте на своих данных: Исследуйте образцы эмуляции cuBLAS на GitHub, чтобы оценить прирост производительности на ваших собственных рабочих нагрузках.

Важно отметить, что cuBLAS ADP фреймворк спроектирован так, чтобы гарантировать точность, сравнимую или лучшую, чем стандартные алгоритмы GEMM с плавающей точкой. Если во время выполнения количество бит мантиссы, необходимое для сохранения точности, эквивалентной FP64, превышает значение по умолчанию или заданное пользователем максимальное значение, cuBLAS автоматически переключается на путь кода, использующий нативные инструкции FP64 MMA. Это обеспечивает безопасность использования cuBLAS в производственных развертываниях без риска численной нестабильности.

Таким образом, NVIDIA не просто ускорила вычисления; она устранила искусственное разделение между скоростью и точностью в научных симуляциях, открывая новые возможности для моделирования сложных физических и химических процессов.

Источник: NVIDIA Developer ↗