pytorch/torchtune

Что это за инструмент

Torchtune — это библиотека PyTorch для постобучения (fine-tuning) больших языковых моделей, однако проект больше не поддерживается и его разработка прекращена в 2025 году.

Зачем нужен

Инструмент предоставляет готовые рецепты для SFT, RLHF, дистилляции знаний и квантования, позволяя эффективно настраивать модели LLM. Он полезен для экспериментов с методами обучения и оптимизации использования памяти, но из-за прекращения поддержки не рекомендуется для новых долгосрочных проектов.

Что можно реализовать

• Полное дообучение (Full Finetuning) моделей Llama, Gemma, Qwen на нескольких устройствах или узлах
• Применение методов LoRA и QLoRA для эффективной настройки моделей на одном устройстве
• Обучение с подкреплением от человека (RLHF) с использованием алгоритмов DPO, PPO или GRPO
• Дистилляция знаний (Knowledge Distillation) для передачи навыков от больших моделей к меньшим
• Квантование, aware training (QAT) для оптимизации моделей под инференс или обучение

Ключевые возможности

• Поддержка широкого спектра архитектур: Llama, Gemma, Mistral, Phi, Qwen, включая мультимодальные версии
• Встроенная поддержка multi-node training для масштабирования на большие батчи и модели
• Высокая эффективность использования памяти благодаря использованию последних API PyTorch
• Удобная конфигурация через YAML-файлы для различных сценариев обучения и инференса
• Готовые реализации популярных алгоритмов постобучения, не требующие написания кода с нуля

👤 Кому подойдёт: Исследователи и разработчики, работающие с PyTorch, интересующиеся методами постобучения LLM, экспериментальные проекты (с учётом статуса EOL)