hiyouga/LLaMA-Factory

Что это за инструмент

LLaMA Factory — это единая платформа для эффективной тонкой настройки (fine-tuning) более чем 100 больших языковых моделей (LLM) и мультимодальных моделей (VLM).

Зачем нужен

Инструмент упрощает процесс адаптации моделей под конкретные задачи, предлагая как командную строку (CLI), так и графический интерфейс (Web UI). Он полезен тем, кто хочет быстро протестировать различные методы обучения и архитектуры без написания сложного кода с нуля.

Что можно реализовать

• Тонкая настройка моделей LLaMA, Mistral, Qwen, DeepSeek и других через LoRA, QLoRA или полное обучение.
• Обучение мультимодальных моделей (VLM), таких как LLaVA, на визуальных данных.
• Использование продвинутых методов оптимизации, таких как DPO, KTO, ORPO и PPO, для улучшения качества ответов.
• Запуск обучения в облачных средах (Colab, PAI-DSW) или локально с поддержкой различных GPU и NPU.
• Деплой обученных моделей через API в стиле OpenAI с использованием vLLM.

Ключевые возможности

• Поддержка 100+ моделей: LLaMA, LLaVA, Mistral, Mixtral-MoE, Qwen3, Qwen3-VL, DeepSeek, Gemma, GLM, Phi.
• Интегрированные методы обучения: (continuous) pre-training, SFT, reward modeling, PPO, DPO, KTO, ORPO.
• Гибкие ресурсы: 16-bit full-tuning, freeze-tuning, LoRA и квантованные версии QLoRA (2/3/4/5/6/8-bit) с использованием AQLM/AWQ/GPTQ/LLM.int8/HQQ/EETQ.
• Продвинутые алгоритмы оптимизации: GaLore, BAdam, APOLLO.
• Простой старт: наличие Web UI (LLaMA Board), Docker-образа и готовых шаблонов для Colab и PAI-DSW.

👤 Кому подойдёт: разработчики, исследователи, инженеры по машинному обучению, работающие с LLM и VLM