OpenAccess-AI-Collective/axolotl

Go ahead and axolotl questions

Обучение⭐ 12 490Pythonпоследний релиз: v0.19.0

Что это за инструмент

Axolotl — это фреймворк с открытым исходным кодом для тонкой настройки (fine-tuning) больших языковых моделей (LLM).

Зачем нужен

Инструмент упрощает процесс адаптации LLM под специфические задачи, предоставляя готовые примеры и поддержку новейших архитектур. Он полезен для оптимизации использования видеопамяти (VRAM) и внедрения передовых методов обучения, таких как LoRA и квантование.

Что можно реализовать

Тонкая настройка моделей Mistral, Qwen, Gemma и GLM с использованием эффективных методов (LoRA, QAT).
Обучение моделей с экспертами (MoE) с минимальным потреблением VRAM благодаря поддержке квантования экспертов.
Применение методов обучения с подкреплением, таких как DPO и GDPO, для улучшения качества ответов модели.
Использование новых оптимизаторов (SonicMoE, ScatterMoE, Muon) для ускорения и стабилизации обучения.
Эксперименты с мультимодальными моделями и текстовой диффузией (text diffusion training).

Ключевые возможности

Поддержка новейших моделей: Mistral Medium 3.5, Gemma 4, Qwen3.5 MoE, GLM-4.7-Flash.
Оптимизация VRAM: квантование экспертов MoE, поддержка FSDP2 и SageAttention.
Продвинутые методы обучения: LoRA (включая SonicMoE и ScatterMoE), DPO, GDPO, EAFT.
Интеграция с uv для управления зависимостями и поддержка Google Colab.
Широкий спектр поддерживаемых архитектур: от стандартных LLM до мультимодальных (InternVL 3.5) и диффузионных моделей.

👤 Кому подойдёт: разработчики, исследователи в области ИИ, инженеры машинного обучения

Релизы

v0.19.0major

🕐 11 дн назад · релиз на GitHub ↗

Релиз Axolotl v0.19.0: поддержка Qwen3.8-Flash-Next, тернарного QAT, оптимизаторов PoLoRA и AdamC, ускорение токенизации и новые модели.

Added: Добавлена декларативная система поддержки моделей с новыми семейными шаблонами архитектуры.
Added: Появилась возможность обучения Qwen3.8-Flash-Next (176.94B MoE) на одной B300 с использованием QLoRA и NVFP4.
Added: Реализовано нативное тернарное QAT (BitNet b1.58) и добавлены новые оптимизаторы PoLoRA и AdamC.
Added: Ускорена токенизация чат-шаблонов (до 16.4x) и добавлена поддержка PyTorch 2.13.
Added: Включена поддержка шести новых семейств моделей, включая Ling 3.0, Muse Glimmer 30B и Shieldstral.

v0.18.0major

🕐 2 мес назад · релиз на GitHub ↗

Релиз Axolotl v0.18.0: оптимизация NVFP4 MoE-LoRA для Blackwell/Hopper, поддержка GLM-5.2 и offloading активаций.

Added: Добавлена поддержка 4-bit NVFP4 expert LoRA через ScatterMoE и SonicMoE для моделей Gemma 4 и DeepSeek-V4 с плоским потреблением VRAM на длинных контекстах.
Added: Реализовано обучение GLM-5.2 (DSA) с использованием 2D Expert Parallelism и выделенных ядер внимания для предотвращения OOM при загрузке экспертов.
Added: Внедрен механизм offloading скрытых состояний (hidden_states) для обучения полных параметров на длинных контекстах (до 128k) без переполнения памяти.
Added: Появился интерактивный интерфейс чата для инференса с поддержкой потоковой передачи токенов и блоков рассуждения для thinking-моделей.
Added: Значительно ускорена работа MoE-LoRA на архитектуре Blackwell (sm120) за счет оптимизаций Triton и CUTLASS, а также улучшено покрытие torch.compile для 4-bit dequant.

v0.17.0majorbreaking

🕐 3 мес назад · релиз на GitHub ↗

Релиз v0.17.0: экспертная параллельность для MoE, поддержка BitNet и Qwen3, оптимизатор Q-GaLore, исправление мультимодального лосс-маскирования и переход на uv.

Added: Добавлена экспертная параллельность (Expert Parallelism) для обучения MoE-моделей через DeepEP.
Added: Полная поддержка тонкой настройки BitNet 1.58-bit и интеграция MoRA/ReMoRA.
Added: Новый оптимизатор Q-GaLore, контекстная параллельность для гибридных SSM-моделей и ускоренные ядра для Qwen3.
Fixed: Исправлено системное игнорирование масок лосса в мультимодальных моделях.
Deprecated: Параметр relora_steps переименован в jagged_restart_steps, а rl: ipo устарел.