AIKraft/AI/Войти
AIKraft/Skills/TAO дообучение CLIP

TAO дообучение CLIP

CLIP vision-language model for image-text retrieval, zero-shot classification, embedding extraction, ONNX export, and TensorRT deployment. Use when fine-tuning or training CLIP, running zero-shot classification, computing image embeddings, or deploying CLIP to ONNX/TensorRT.

nvidia official Дизайн

Что делает навык

Навык обеспечивает дообучение, оценку, инференс, экспорт и развертывание модели CLIP для задач zero-shot классификации, поиска по изображению-тексту и извлечения эмбеддингов. Он поддерживает автоматический поиск гиперпараметров (AutoML) для обучения и генерацию движков TensorRT для оптимизации.

Когда применять

  • Дообучение модели CLIP на специфичных для домена данных изображений и подписей.
  • Запуск zero-shot классификации изображений с использованием предобученных весов.
  • Извлечение эмбеддингов изображений или текста для последующего сравнения.
  • Экспорт модели в формат ONNX для кросс-платформенного использования.
  • Генерация оптимизированных движков TensorRT (gen_trt_engine) для ускоренного инференса.

Как работает

  1. Убедиться, что сессия инициализирована плагином TAO (запустить tao-setup, если требуется).
  2. Определить политику AutoML: по умолчанию включена, но можно отключить фразой типа 'plain training'.
  3. При включенном AutoML и наличии схем маршрутизировать действие train через tao-skill-bank:tao-run-automl.
  4. При отключенном AutoML или отсутствии схем выполнить прямое обучение модели.
  5. Для действий evaluate, inference, export и gen_trt_engine использовать точный чекпоинт от родителя, так как null не загружает веса.
  6. Для доверенных чекпоинтов TAO установить переменную TORCH_FORCE_NO_WEIGHTS_ONLY_LOAD=1 для совместимости с PyTorch 2.6.

Примеры запросов агенту

Запусти дообучение CLIP на моих данных с включенным AutoML.
Экспортируй модель CLIP в формат ONNX, используя чекпоинт из предыдущего запуска.
Сгенерируй движок TensorRT для инференса CLIP.

Что понадобится

  • Инициализированная сессия TAO (tao-setup).
  • Доступ к NGC и учетным данным.
  • Точный путь к чекпоинту для действий, кроме валидации архитектуры.

Описание составлено по SKILL.md навыка, сверено 05.10.2026.

Как подключить

1Скачать навык
# возьмите папку навыка «tao-finetune-clip» из репозитория: # https://github.com/nvidia/skills
2Положить папку с SKILL.md к навыкам ассистента
# положите папку навыка туда, где ассистент ищет skills: cp -r tao-finetune-clip/ ~/.claude/skills/tao-finetune-clip/

Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.