AIKraft/AI/Войти
AIKraft/Skills/TAO обучение SegFormer

TAO обучение SegFormer

SegFormer for semantic segmentation. Lightweight transformer-based architecture with hierarchical feature extraction, efficient for real-time segmentation tasks. Use when training, evaluating, exporting, quantizing, or running inference for a TAO SegFormer model. Trigger phrases include

nvidia official Данные

Что делает навык

SegFormer — легковесная архитектура на основе трансформера с иерархическим извлечением признаков, предназначенная для семантической сегментации. Она эффективна для задач сегментации в реальном времени и поддерживает обучение, оценку, экспорт, квантование и инференс модели через TAO.

Когда применять

  • Семантическая сегментация изображений в задачах реального времени
  • Обучение модели с использованием AutoML для оптимизации гиперпараметров
  • Развертывание модели с помощью TensorRT для ускорения инференса
  • Экспорт и квантование модели для оптимизации ресурсов
  • Использование предварительно обученных весов бэкбона (pretrained_backbone_path)

Как работает

  1. Если сессия не инициализирована плагином TAO skill bank, выполнить навык tao-setup для проверки хоста, учетных данных и обнаружения навыков.
  2. Для действий TAO Deploy TensorRT (gen_trt_engine, TensorRT evaluate, TensorRT inference) предварительно прочитать файл references/tao-deploy-segformer.md.
  3. При запросе на обучение проверить references/skill_info.yaml для определения политики AutoML (по умолчанию automl_policy: on).
  4. Если automl_policy: on и доступны schemas/train.schema.json и references/spec_template_train.yaml, направить действие обучения через tao-skill-bank:tao-run-automl.
  5. Если automl_policy: off или отсутствуют схемы/шаблоны, выполнить прямое обучение модели или сообщить о недоступности AutoML.
  6. Действия вне обучения (evaluate, inference, export, deploy) выполняются в рамках данного навыка, сохраняя переопределения рабочих процессов.

Примеры запросов агенту

Обучи модель SegFormer для семантической сегментации с включенным AutoML.
Запусти инференс модели SegFormer с использованием TensorRT.
Экспортируй модель SegFormer в формат, оптимизированный для развертывания.

Что понадобится

  • Инициализация сессии через навык tao-setup (если не выполнена автоматически)
  • Наличие файлов schemas/<action>.schema.json и references/spec_template_<action>.yaml для работы AutoML
  • Доступ к файлам шаблонов развертывания в папке references/ (spec_template_deploy_*.yaml)

Описание составлено по SKILL.md навыка, сверено 05.10.2026.

Как подключить

1Скачать навык
# возьмите папку навыка «tao-train-segformer» из репозитория: # https://github.com/nvidia/skills
2Положить папку с SKILL.md к навыкам ассистента
# положите папку навыка туда, где ассистент ищет skills: cp -r tao-train-segformer/ ~/.claude/skills/tao-train-segformer/

Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.