timdettmers/bitsandbytes

Что это за инструмент

Библиотека для PyTorch, обеспечивающая доступ к большим языковым моделям (LLM) через k-битное квантование.

Зачем нужен

Инструмент радикально снижает потребление памяти при инференсе и обучении моделей без потери качества. Он позволяет запускать и дообучать LLM на оборудовании с ограниченными ресурсами, используя методы 8-битного и 4-битного квантования.

Что можно реализовать

• Инференс больших языковых моделей с использованием метода LLM.int8() для сокращения памяти вдвое.
• Дообучение (fine-tuning) LLM с помощью QLoRA, где модель квантуется до 4 бит, а обучаются только адаптационные веса.
• Использование 8-битных оптимизаторов для тренировки моделей с сохранением точности 32-битных вычислений.
• Запуск LLM на различных акселераторах: NVIDIA, AMD, Intel GPU и CPU.

Ключевые возможности

• Поддержка 8-битных оптимизаторов с блочным квантованием.
• Метод LLM.int8() (векторное квантование) для инференса без деградации производительности.
• Технология QLoRA для эффективного обучения с 4-битным квантованием.
• Широкая поддержка аппаратных платформ (Linux, Windows, macOS, CPU, GPU).

👤 Кому подойдёт: Разработчики и исследователи, работающие с PyTorch и нуждающиеся в оптимизации памяти для LLM.