Прямой доступ к DLA из Python
NVIDIA представила модуль cudla в рамках проекта CUDA Python (начиная с версии 13.3.0). Это тонкий Cython-слой над C++ API, который позволяет разработчикам управлять Deep Learning Accelerator (DLA) непосредственно в Python. На платформах NVIDIA Jetson AGX Orin это решает проблему нехватки вычислительных ресурсов GPU: DLA берет на себя фиксированные операции (свертки, пулинг), освобождая GPU для других задач и повышая энергоэффективность.
Ключевая особенность — поддержка гибридного режима (hybrid-mode). Инференс на DLA координируется с пред- и постобработкой на GPU через единые CUDA-стримы. Это позволяет строить сложные конвейеры обработки данных, где все этапы выполняются асинхронно и синхронизировано.
Технические детали и совместимость
Модуль экспонирует 13 функций, 9 типов данных и 8 перечислений для управления жизненным циклом модели. Важно отметить, что API идентичен для встраиваемых платформ Jetson и новых ноутбуков для разработчиков ИИ на базе NVIDIA RTX Spark (Windows). Это означает, что код, написанный для Jetson, может быть перенесен на десктопные решения с минимальными изменениями.
Для работы на Jetson требуется JetPack 7.2.2 или новее. Сам рантайм libcudla.so поставляется с JetPack, поэтому установка дополнительных SDK не требуется. Достаточно установить пакет через pip:
pip install "cuda-bindings>=13.3.0"
Минимальная версия Python — 3.10 (рекомендуется 3.12). Для запуска готового loadable-файла TensorRT не нужен, но он необходим на этапе компиляции модели.
Компиляция модели: TensorRT 11 и новые флаги
Для запуска инференса модель должна быть предварительно скомпилирована в формат DLA loadable с помощью trtexec. В TensorRT 11.4.1 изменился подход к управлению точностью: флаги --fp16 и --int8 больше не поддерживаются. Точность теперь выводится из типов тензоров в ONNX-модели.
Пример команды для компиляции модели в FP16 с фиксированным размером входа:
| Параметр | Значение | Назначение |
|---|---|---|
--onnx | your_model_fp16.onnx | Исходная модель |
--useDLACore | 0 | Выбор первого DLA-ядра |
--buildDLAStandalone | True | Генерация автономного loadable (без зависимостей от TensorRT при запуске) |
--inputIOFormats | chw16 | Формат ввода (CHW16) |
--memPoolSize | dlaSRAM: 1 | Размер SRAM пула (в MB) |
Жизненный цикл инференса в 9 шагов
Работа с cuDLA в Python строго структурирована. Полный цикл выполнения задачи включает следующие этапы:
- Инициализация: Запуск CUDA и создание устройства DLA в режиме
cudla.Mode.CUDA_DLA. - Загрузка: Чтение скомпилированного loadable из памяти.
- Интроспекция: Получение дескрипторов тензоров (размеры, типы).
- Выделение памяти: Аллокация буферов на GPU.
- Регистрация: Привязка буферов к контексту cuDLA.
- Копирование данных: Пересылка предварительно обработанных входных данных.
- Отправка задачи: Submit задачи на CUDA-стрим.
- Синхронизация: Ожидание завершения вычислений.
- Чтение результата: Получение выходных данных с GPU.
Все ошибки обрабатываются через исключения Python и перечисление cudla.Status, что позволяет использовать стандартные конструкции try/finally для корректного освобождения ресурсов.
Источник: NVIDIA dev blog ↗
