AIKraft/AI/Войти
AIKraft/Skills/TAO обучение Sparse4D

TAO обучение Sparse4D

Sparse4D for multi-camera temporal 3D object detection and tracking. Uses sparse queries with deformable attention across camera views and time for end-to-end 3D perception, with an instance bank for temporal tracking. Use when training, evaluating, exporting, quantizing, or running inference for a TAO Sparse4D model. Trigger phrases include

nvidia official Другое

Что делает навык

Sparse4D — это модель для многокамерной временной 3D-детекции и трекинга объектов, использующая разреженные запросы с деформируемым вниманием для сквозного 3D-восприятия. Она включает instance bank для временного трекинга и поддерживает обучение, оценку, экспорт, квантование и инференс через TAO. Модель позволяет использовать предварительно обученный бэкбон ResNet-101 и интегрирована с AutoML для автоматической настройки гиперпараметров.

Когда применять

  • Обучение модели Sparse4D с использованием предварительно обученного бэкбона ResNet-101 для задач 3D-восприятия.
  • Локальная проверка работоспособности (smoke validation) обучения Sparse4D без указания пути к предварительно обученной модели.
  • Автоматическая настройка гиперпараметров (HPO) при обучении модели через AutoML.
  • Инференс или экспорт модели Sparse4D для развертывания в продакшене.

Как работает

  1. Убедитесь, что сессия инициализирована плагином TAO skill bank; если нет, запустите навык tao-setup для проверки хоста, учетных данных и обнаружения навыков.
  2. Прочитайте файл references/skill_info.yaml, чтобы определить, включен ли AutoML (automl_enabled), и разрешите переопределение политики запуска (automl_policy) на основе запроса пользователя.
  3. Если automl_policy: on и доступны файлы schemas/train.schema.json и references/spec_template_train.yaml, направьте действие обучения через tao-skill-bank:tao-run-automl, сохранив переопределения для датасетов, спецификаций, директорий вывода и настроек GPU.
  4. Если automl_policy: off или отсутствуют необходимые схемы/шаблоны, выполните прямое обучение модели; в случае отсутствия схем сообщите, что AutoML включен, но недоступен до генерации схем.
  5. При использовании предварительно обученного бэкбона укажите путь к нему через параметр train.pretrained_model_path.

Примеры запросов агенту

Обучи модель Sparse4D с включенным AutoML, используя датасет из моего проекта.
Запусти инференс для Sparse4D без настройки гиперпараметров.
Проверь локально работу обучения Sparse4D, не указывая предварительно обученную модель.

Что понадобится

  • Инициализация сессии плагином TAO skill bank (или запуск навыка tao-setup).
  • Наличие файлов schemas/train.schema.json и references/spec_template_train.yaml для работы AutoML.
  • Доступ к предварительно обученной модели ResNet-101 (опционально, но рекомендуется для продакшена).

Описание составлено по SKILL.md навыка, сверено 05.10.2026.

Как подключить

1Скачать навык
# возьмите папку навыка «tao-train-sparse4d» из репозитория: # https://github.com/nvidia/skills
2Положить папку с SKILL.md к навыкам ассистента
# положите папку навыка туда, где ассистент ищет skills: cp -r tao-train-sparse4d/ ~/.claude/skills/tao-train-sparse4d/

Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.