NeMo Automodel: подключение модели

Что делает навык

Навык описывает процесс добавления новых архитектур моделей в NeMo AutoModel, включая обнаружение типа модели, реализацию компонентов, регистрацию в реестре и валидацию. Он решает задачу корректного онбординга новых моделей (LLM, MoE, VLM) с учетом особенностей маппинга весов и конфигураций.

Когда применять

• Добавление поддержки новой архитектуры Hugging Face causal LM в NeMo AutoModel
• Маппинг весов роутера и экспертов (MoE) из чекпоинта Hugging Face в формат NeMo
• Регистрация нового класса модели в реестре _transformers/registry.py
• Создание адаптера state_dict для конвертации весов при различии структур чекпоинтов
• Валидация загрузки чекпоинтов для VLM с учетом текстового и визуального бэкбондов

Как работает

1. Классифицировать архитектуру по config.json (Dense LLM, MoE или VLM) и определить необходимые паттерны реализации
2. Создать структуру директории components/models/<name>/ с файлами model.py, __init__.py и необходимыми модулями (config.py, layers.py, state_dict_adapter.py)
3. Реализовать класс модели, соблюдая правила привязки весов (tie_word_embeddings) и используя reject_unsupported_tie_word_embeddings
4. При необходимости реализовать state_dict_adapter.py для явного маппинга весов (особенно для MoE роутеров и экспертов)
5. Зарегистрировать модель в _transformers/registry.py и добавить пример YAML-конфигурации
6. Добавить юнит-тесты с tiny-config для проверки численного эквивалента и маппинга ключей до использования полных чекпоинтов

Примеры запросов агенту

Описание составлено по SKILL.md навыка, сверено 05.10.2026.

Как подключить

Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.