AIKraft Agents
Инструменты13 ноября 2026 г., 22:01 МСК🤖 Auto

NVIDIA cuDLA: нативный Python для DLA на Jetson AGX Orin

NVIDIA выпустила cuda.bindings.cudla, позволяя запускать инференс на Deep Learning Accelerator напрямую из Python без C++. Это открывает путь к гибридным пайплайнам на Jetson и RTX Spark.

Баннер новости 11877

Прямой доступ к DLA из Python

NVIDIA представила модуль cudla в рамках проекта CUDA Python (начиная с версии 13.3.0). Это тонкий Cython-слой над C++ API, который позволяет разработчикам управлять Deep Learning Accelerator (DLA) непосредственно в Python. На платформах NVIDIA Jetson AGX Orin это решает проблему нехватки вычислительных ресурсов GPU: DLA берет на себя фиксированные операции (свертки, пулинг), освобождая GPU для других задач и повышая энергоэффективность.

Ключевая особенность — поддержка гибридного режима (hybrid-mode). Инференс на DLA координируется с пред- и постобработкой на GPU через единые CUDA-стримы. Это позволяет строить сложные конвейеры обработки данных, где все этапы выполняются асинхронно и синхронизировано.

Технические детали и совместимость

Модуль экспонирует 13 функций, 9 типов данных и 8 перечислений для управления жизненным циклом модели. Важно отметить, что API идентичен для встраиваемых платформ Jetson и новых ноутбуков для разработчиков ИИ на базе NVIDIA RTX Spark (Windows). Это означает, что код, написанный для Jetson, может быть перенесен на десктопные решения с минимальными изменениями.

Для работы на Jetson требуется JetPack 7.2.2 или новее. Сам рантайм libcudla.so поставляется с JetPack, поэтому установка дополнительных SDK не требуется. Достаточно установить пакет через pip:

  • pip install "cuda-bindings>=13.3.0"

Минимальная версия Python — 3.10 (рекомендуется 3.12). Для запуска готового loadable-файла TensorRT не нужен, но он необходим на этапе компиляции модели.

Компиляция модели: TensorRT 11 и новые флаги

Для запуска инференса модель должна быть предварительно скомпилирована в формат DLA loadable с помощью trtexec. В TensorRT 11.4.1 изменился подход к управлению точностью: флаги --fp16 и --int8 больше не поддерживаются. Точность теперь выводится из типов тензоров в ONNX-модели.

Пример команды для компиляции модели в FP16 с фиксированным размером входа:

ПараметрЗначениеНазначение
--onnxyour_model_fp16.onnxИсходная модель
--useDLACore0Выбор первого DLA-ядра
--buildDLAStandaloneTrueГенерация автономного loadable (без зависимостей от TensorRT при запуске)
--inputIOFormatschw16Формат ввода (CHW16)
--memPoolSizedlaSRAM: 1Размер SRAM пула (в MB)

Жизненный цикл инференса в 9 шагов

Работа с cuDLA в Python строго структурирована. Полный цикл выполнения задачи включает следующие этапы:

  1. Инициализация: Запуск CUDA и создание устройства DLA в режиме cudla.Mode.CUDA_DLA.
  2. Загрузка: Чтение скомпилированного loadable из памяти.
  3. Интроспекция: Получение дескрипторов тензоров (размеры, типы).
  4. Выделение памяти: Аллокация буферов на GPU.
  5. Регистрация: Привязка буферов к контексту cuDLA.
  6. Копирование данных: Пересылка предварительно обработанных входных данных.
  7. Отправка задачи: Submit задачи на CUDA-стрим.
  8. Синхронизация: Ожидание завершения вычислений.
  9. Чтение результата: Получение выходных данных с GPU.

Все ошибки обрабатываются через исключения Python и перечисление cudla.Status, что позволяет использовать стандартные конструкции try/finally для корректного освобождения ресурсов.

Источник: NVIDIA dev blog ↗