AIKraft/AI/Войти
AIKraft/Skills/TAO обучение NVPanoptix3D

TAO обучение NVPanoptix3D

NVPanoptix3D for panoptic 3D scene reconstruction from posed RGB images. Produces 3D panoptic segmentation (semantic, instance, and panoptic masks) with occupancy completion. Built on a VGGT backbone with a Mask2Former-style head and 3D frustum reconstruction. Use when training, evaluating, exporting, or running inference for a TAO NVPanoptix3D model. Trigger phrases include

nvidia official Дизайн

Что делает навык

NVPanoptix3D — модель для паноптической 3D-реконструкции сцены по позиционированным RGB-изображениям, производящая 3D-сегментацию (семантическую, инстанс- и паноптическую маски) с достройкой occupancy. Построена на бэкбоне VGGT с головой в стиле Mask2Former и 3D-реконструкцией по фрустуму. Используется для обучения, оценки, экспорта или инференса модели через TAO.

Когда применять

  • Обучение модели на датасетах front3d или matterport с использованием двухэтапной инициализации (2D и 3D чекпоинты).
  • Оценка качества модели по метрикам PRQ, RSQ и RRQ на валидационных или тестовых наборах данных.
  • Инференс (вывод) паноптической сегментации и 3D-массивов занятости (occupancy) для новых RGB-изображений.
  • Экспорт обученной модели в формат ONNX для последующего использования в других системах.

Как работает

  1. Подготовить данные в формате nvpanoptix3d (front3d или matterport), обеспечив наличие метаданных (frustum_mask.npz, colormap.json, train/val/test.json) и директорий с изображениями.
  2. Сформировать YAML-спецификацию (spec) для нужного действия (train, evaluate, inference, export), указав пути к данным и параметры модели.
  3. Запустить контейнер Docker с образом nvcr.io/nvidia/tao/tao-toolkit:7.2.0-pyt, монтируя директории с данными, спецификациями и результатами.
  4. Выполнить команду python -m nvidia_tao_pytorch.cv.nvpanoptix3d.entrypoint.nvpanoptix3d <action> -e /specs/<action>.yaml внутри контейнера.
  5. При обучении с AutoML использовать метрику PRQ для выбора лучшего чекпоинта; при отключении AutoML использовать прямое обучение.

Примеры запросов агенту

Обучи модель NVPanoptix3D на датасете front3d с 10 эпохами и валидацией каждые 10 шагов.
Запусти оценку качества модели NVPanoptix3D, используя выбранный чекпоинт из обучения.
Выполни инференс паноптической сегментации для набора RGB-изображений с помощью модели NVPanoptix3D.

Что понадобится

  • Доступ к Docker и GPU (минимум 2 GPU, рекомендуется 4 GPU с 40GB+ VRAM, например A100).
  • Образ nvcr.io/nvidia/tao/tao-toolkit:7.2.0-pyt.
  • Данные в формате nvpanoptix3d с обязательными метаданными (frustum_mask.npz, colormap.json, json-файлы списков).

Описание составлено по SKILL.md навыка, сверено 05.10.2026.

Как подключить

1Скачать навык
# возьмите папку навыка «tao-train-nvpanoptix3d» из репозитория: # https://github.com/nvidia/skills
2Положить папку с SKILL.md к навыкам ассистента
# положите папку навыка туда, где ассистент ищет skills: cp -r tao-train-nvpanoptix3d/ ~/.claude/skills/tao-train-nvpanoptix3d/

Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.