axolotl-ai-cloud/axolotl

Вопросы к axolotl

Обучение⭐ 12 490Pythonпоследний релиз: v0.19.0

Что это за инструмент

Axolotl — это бесплатный фреймворк с открытым исходным кодом для тонкой настройки (fine-tuning) больших языковых моделей (LLM).

Зачем нужен

Инструмент упрощает процесс обучения моделей на собственных данных, поддерживая современные архитектуры, включая MoE (Mixture of Experts) и мультимодальные модели. Он полезен для оптимизации использования видеопамяти (VRAM) и внедрения передовых методов обучения, таких как LoRA и DPO, без необходимости писать сложный код с нуля.

Что можно реализовать

Тонкая настройка моделей Mistral, Qwen, Gemma и GLM на специфических доменах с использованием LoRA и QAT.
Обучение MoE-моделей с минимизацией потребления VRAM через квантование экспертов (MoE expert quantization).
Применение методов выравнивания (alignment), таких как Generalized DPO (GDPO), для улучшения качества ответов модели.
Обучение мультимодальных моделей (например, InternVL 3.5) и текстовых диффузионных моделей (text diffusion).
Использование передовых оптимизаторов, таких как SonicMoE fused LoRA и Distributed Muon Optimizer, для ускорения и стабилизации обучения.

Ключевые возможности

Поддержка новейших архитектур: Mistral Medium 3.5, Gemma 4, Qwen3.5 MoE, GLM-4.7-Flash.
Оптимизация VRAM для MoE-моделей через квантование экспертов (quantize_moe_experts: true).
Интеграция с SageAttention, GDPO, EAFT (Entropy-Aware Focal Training) и Scalable Softmax.
Поддержка различных методов оптимизации: LoRA, QAT (NVFP4), FSDP2.
Активное развитие и поддержка сообщества (Discord, Colab-ноутбуки, регулярные обновления).

👤 Кому подойдёт: ML-инженеры, исследователи в области NLP и разработчики, занимающиеся тонкой настройкой LLM и MLLM.

Релизы

v0.19.0major

🕐 10 дн назад · релиз на GitHub ↗

Axolotl v0.19.0: декларативная поддержка моделей, QAT для BitNet, оптимизаторы PoLoRA/AdamC, ускорение токенизации и новые модели.

Added: Внедрена декларативная система профилей поддержки моделей, упрощающая добавление новых архитектур.
Added: Добавлена поддержка QAT для тернарных весов (BitNet b1.58) и двух новых оптимизаторов: PoLoRA и AdamC.
Added: Добавлена возможность тонкой настройки мультимодальной MoE-модели Qwen3.8-Flash-Next на одной GPU.
Added: Ускорена токенизация чат-шаблонов в 16 раз для длинных многооборотных диалогов.
Added: Добавлена поддержка шести новых семейств моделей, включая Ling 3.0, Muse Glimmer 30B и Shieldstral.

v0.18.0major

🕐 2 мес назад · релиз на GitHub ↗

Релиз Axolotl v0.18.0: оптимизация 4-bit MoE-LoRA для Blackwell/Hopper, поддержка GLM-5.2 и длинного контекста.

Added: NVFP4 MoE-LoRA: ускоренные пути для ScatterMoE и SonicMoE с плоским потреблением VRAM на длинных контекстах.
Added: Fine-tuning GLM-5.2 (DSA) на multi-GPU FSDP2 с 2D Expert Parallelism и оптимизированной загрузкой экспертов.
Added: Offloading hidden states для обучения full-parameter на 128k контекста без переполнения памяти PCIe.
Added: Интерактивный multi-turn chat интерфейс для инференса с потоковой выдачей токенов и reasoning-блоков.
Added: Оптимизации ядра: поддержка Blackwell (sm120), Grouped-Gram dA/dB для больших MoE и ускорение multimodal masking.

v0.17.0majorbreaking

🕐 3 мес назад · релиз на GitHub ↗

Axolotl v0.17.0: Expert Parallelism для MoE, BitNet 1.58-bit, контекстная параллельность для SSM, оптимизатор Q-GaLore и фикс мультимодального лосс-маскирования.

Added: Добавлена экспертная параллельность (Expert Parallelism) для обучения MoE-моделей через DeepEP.
Added: Полная поддержка fine-tuning для BitNet 1.58-bit и новый оптимизатор Q-GaLore.
Added: Контекстная параллельность для гибридных SSM-моделей (Mamba2) и интеграция MoRA/ReMoRA.
Fixed: Исправлено игнорирование масок лосса для ассистента в мультимодальных моделях.
Deprecated: Параметр relora_steps переименован в jagged_restart_steps, а rl: ipo признан устаревшим.