AIKraft/AI/Войти
AIKraft/Skills/llm

llm

Large Language Model development, training, fine-tuning, and deployment best practices.

mindrally official Разработка

Что делает навык

Навык предоставляет экспертные знания в области разработки, обучения и тонкой настройки больших языковых моделей (LLM), включая архитектуру трансформеров, токенизацию и методы эффективной адаптации. Он охватывает полный цикл создания моделей: от подготовки данных и распределенного обучения до оптимизации инференса и развертывания в продакшене.

Когда применять

  • Выбор и настройка архитектуры внимания (self-attention, multi-head) и позиционных кодировок для новых моделей.
  • Применение методов эффективной тонкой настройки (LoRA, P-tuning, adapters) для адаптации моделей под конкретные задачи.
  • Организация распределенного обучения с использованием DeepSpeed и FSDP для экономии памяти и ускорения процесса.
  • Оптимизация моделей для инференса через квантование, прунинг и настройку батчинга.
  • Настройка инфраструктуры экспериментов: управление конфигами в YAML, отслеживание метрик и версионирование моделей.

Как работает

  1. Анализирует требования к задаче и выбирает подходящую архитектуру трансформера, токенизатор (BPE, SentencePiece) и стратегию позиционных кодировок.
  2. Настраивает процесс тонкой настройки: выбирает между полноценным fine-tuning и параметрически-эффективными методами (LoRA, prefix tuning), задавая расписания обучения и регуляризацию.
  3. Конфигурирует инфраструктуру обучения, применяя распределенные стратегии (DeepSpeed, FSDP), смешанную точность (mixed precision) и градиентную аккумуляцию для оптимизации памяти.
  4. Организует процесс оценки модели, подбирая метрики (perplexity, BLEU) и внедряя бенчмарки для отслеживания прогресса во время обучения.
  5. Подготавливает модель к развертыванию, применяя оптимизации инференса (квантование, прунинг) и настраивая эффективное обслуживание запросов.
  6. Структурирует проект, разделяя обработку данных и обучение, используя YAML-конфиги и системы отслеживания экспериментов.

Примеры запросов агенту

Как правильно настроить LoRA для тонкой настройки модели LLaMA на специфичном датасете?
Какие стратегии распределенного обучения с DeepSpeed или FSDP лучше применить для экономления памяти при обучении большой модели?
Как оптимизировать модель для инференса: какие методы квантования и прунинга использовать для ускорения работы?

Что понадобится

  • Инструменты: DeepSpeed, FSDP
  • Форматы данных: YAML (для конфигов)
  • Метрики: perplexity, BLEU

Описание составлено по SKILL.md навыка, сверено 05.10.2026.

Как подключить

1Скачать навык
# возьмите папку навыка «llm» из репозитория: # https://github.com/mindrally/skills
2Положить папку с SKILL.md к навыкам ассистента
# положите папку навыка туда, где ассистент ищет skills: cp -r llm/ ~/.claude/skills/llm/

Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.