Lightning-AI/litgpt

Что это за инструмент

LitGPT — это библиотека для PyTorch, предоставляющая готовые реализации более чем 20 больших языковых моделей (LLM) с оптимизированными рецептами для их предобучения, дообучения и развертывания.

Зачем нужен

Инструмент позволяет разработчикам быстро запускать LLM на GPU/TPU, минимизируя потребление памяти и максимизируя скорость работы за счет реализации моделей с нуля без лишних абстракций. Он полезен для тех, кто хочет контролировать процесс обучения и инференса, избегая сложностей стандартных фреймворков, и использовать готовые конфигурации для enterprise-масштаба.

Что можно реализовать

• Быстрый запуск инференса для моделей вроде Llama 3, Phi 4 или Qwen2.5 с поддержкой квантования (fp4/8/16/32) для работы на GPU с малым объемом памяти.
• Дообучение (finetuning) LLM с использованием методов LoRA, QLoRA или Adapter на одном или множестве GPU/TPU.
• Предобучение (pretrain) моделей с нуля или продолжение обучения существующих с использованием оптимизированных YAML-рецептов.
• Развертывание (deploy) оптимизированных моделей в продакшене с минимальными задержками.

Ключевые возможности

• Реализация моделей с нуля (from scratch) без абстракций для полного контроля и высокой производительности.
• Поддержка масштабирования на 1–1000+ GPU/TPU с использованием FSDP.
• Встроенная поддержка Flash Attention и различных методов квантования для снижения требований к памяти.
• Готовые оптимизированные рецепты (YAML) для pretrain, finetune и deploy, протестированные на enterprise-уровне.
• Лицензия Apache 2.0, разрешающая неограниченное коммерческое использование.

👤 Кому подойдёт: Разработчики ML, инженеры по машинному обучению и исследователи, работающие с PyTorch, которым нужна высокая производительность, контроль над архитектурой и готовые решения для масштабирования LLM.