В мире искусственного интеллекта долгое время существовало негласное правило: чтобы запустить большую языковую модель (LLM) локально, нужен либо серверный кластер, либо топовая профессиональная видеокарта стоимостью в несколько тысяч долларов. Однако прогресс не стоит на месте, и экосистема open-source решений для локального инференса переживает настоящий бум. Одним из ключевых двигателей этой революции стала библиотека ExLlamaV2. Это не просто еще один инструмент для запуска нейросетей, а высокооптимизированное решение, которое позволяет запускать мощные модели, такие как Llama 2 70B, на обычных потребительских видеокартах, доступных рядовому пользователю в России и мире.
Важно отметить, что проект ExLlamaV2 на данный момент находится в архивном состоянии, так как разработка перешла на новую версию — ExLlamaV3. Тем не менее, ExLlamaV2 остается фундаментальным инструментом, на котором строится понимание современных методов квантования и оптимизации. Изучая этот проект, мы понимаем, как достигается невероятная скорость генерации текста и как эффективно использовать ограниченные ресурсы GPU. В этой статье мы подробно разберем архитектуру библиотеки, новые функции, такие как динамический генератор, форматы квантования EXL2 и практические аспекты установки и использования.
01Что такое ExLlamaV2 и зачем она нужна?
ExLlamaV2 — это библиотека инференса (выполнения вычислений) для локальных больших языковых моделей, специально разработанная для работы на современных потребительских видеокартах NVIDIA. Ее главная цель — максимизировать скорость генерации токенов (t/s — токенов в секунду) при минимальном потреблении видеопамяти (VRAM). В отличие от стандартных библиотек, которые могут работать медленно или требовать огромных объемов памяти, ExLlamaV2 использует продвинутые техники квантования и оптимизации памяти.
Официальным и рекомендуемым бэкенд-сервером для ExLlamaV2 является TabbyAPI. Это сервер на базе FastAPI, который предоставляет совместимый с OpenAI API интерфейс. Это критически важно для совместимости: вы можете использовать ExLlamaV2 с любыми фронтендами, поддерживающими стандарт OpenAI, такими как SillyTavern, Open WebUI или даже мобильные приложения. TabbyAPI также расширяет возможности, добавляя поддержку загрузки моделей из Hugging Face, работу с эмбеддинг-моделями и поддержку шаблонов чата Jinja2 из Hugging Face.
02Новые возможности: Динамический генератор и Paged Attention
Версия 0.1.0+ принесла значительные архитектурные улучшения. Главным нововведением стала поддержка Paged Attention через библиотеку Flash Attention (версии 2.5.7 и выше). Paged Attention позволяет эффективно управлять памятью, разделяя её на страницы, что предотвращает фрагментацию и позволяет запускать модели с длинным контекстом даже на видеокартах с ограниченным объемом памяти.
Другим ключевым изменением стал переход к единому Dynamic Generator. Ранее пользователям приходилось выбирать между разными типами генераторов для разных задач. Теперь все функции — инференс, сэмплинг, спекулятивное декодирование — объединены в один API. Это упрощает интеграцию и делает код чище. Единственное исключение — кэш FP8, который пока не поддерживается, но режим Q4 работает даже лучше, обеспечивая высокую скорость при сохранении качества.
Динамический генератор поддерживает несколько режимов работы:
- Одиночная генерация: Простой вызов для одного промпта. Например, продолжение фразы "Hello, my name is" с ограничением в 200 новых токенов.
- Пакетная генерация (Batched generation): Позволяет обрабатывать несколько промптов одновременно. Это полезно для тестирования или когда нужно сгенерировать ответы на несколько запросов параллельно.
- Потоковая генерация с asyncio: Асинхронная генерация, которая позволяет получать токены по мере их появления. Это критически важно для создания чат-ботов с "живым" выводом текста, где пользователь видит ответ в реальном времени, а не ждет окончания всей генерации.
Пример асинхронной генерации с использованием Python-библиотеки asyncio выглядит следующим образом:
job = ExLlamaV2DynamicJobAsync(
generator=generator,
input_ids=tokenizer.encode("You can lead a horse to water"),
banned_strings=["make it drink"],
gen_settings=ExLlamaV2Sampler.Settings(greedy()),
max_new_tokens=200
)
async for result in job:
text = result.get("text", "")
print(text, end="", flush=True)Этот код демонстрирует, как легко можно интегрировать ExLlamaV2 в современные асинхронные приложения, добавляя при этом фильтры (banned_strings) для контроля вывода.
03Формат квантования EXL2: Тонкая настройка производительности
Одной из самых сильных сторон ExLlamaV2 является поддержка нового формата квантования EXL2. Если вы знакомы с форматом GPTQ, то EXL2 можно рассматривать как его эволюцию. GPTQ поддерживает 4-битное квантование, но EXL2 предлагает гораздо большую гибкость, поддерживая уровни квантования от 2 до 8 бит на вес (bits per weight, bpw).
Главная особенность EXL2 — возможность смешивания уровней квантования внутри одной модели. Это означает, что наиболее важные веса нейронной сети (те, которые сильнее влияют на результат) могут быть сохранены с большей точностью (например, 4 или 5 бит), а менее важные — сжат сильнее (2 или 3 бита). Такой подход, похожий на разреженное квантование, позволяет достичь идеального баланса между размером модели, скоростью работы и качеством генерации.
Процесс выбора параметров автоматизирован. Скрипт квантования тестирует каждую матрицу весов с разными настройками, измеряет ошибку квантования относительно калибровочных данных и выбирает комбинацию, которая минимизирует максимальную ошибку по всей модели, при этом соблюдая целевой средний битрейт. Это позволяет, например, запустить модель Llama 2 70B на одной видеокарте с 24 ГБ памяти (как NVIDIA RTX 3090/4090) с контекстом в 2048 токенов, используя всего 2.55 бита на вес. Модель при этом выдает связный и стабильный текст.
04Производительность: Сравнение с предыдущими версиями
Скорость генерации — главный показатель эффективности ExLlamaV2. Ниже приведены результаты тестов производительности на видеокартах NVIDIA GeForce RTX 3090 Ti и RTX 4090. Обратите внимание, что скорости могут варьироваться в зависимости от конкретного железа, но общая картина демонстрирует впечатляющие результаты.
| Модель | Режим | Размер | grpsz | act | 3090Ti (t/s) | 4090 (t/s) |
|---|---|---|---|---|---|---|
| Llama GPTQ | 7B | 128 | no | 181 | 205 | |
| Llama GPTQ | 13B | 128 | no | 110 | 114 | |
| Llama GPTQ | 33B | 128 | yes | 44 | 48 | |
| OpenLlama GPTQ | 3B | 128 | yes | 259 | 296 | |
| CodeLlama EXL2 | 4.0 bpw | 34B | 44 | 50 | ||
| Llama2 EXL2 | 3.0 bpw | 7B | 217 | 257 | ||
| Llama2 EXL2 | 4.0 bpw | 7B | 185 | 211 | ||
| Llama2 EXL2 | 5.0 bpw | 7B | 164 | 179 | ||
| Llama2 EXL2 | 2.5 bpw | 70B | 33 | 38 | ||
| TinyLlama EXL2 | 3.0 bpw | 1.1B | 656 | 770 | ||
| TinyLlama EXL2 | 4.0 bpw | 1.1B | 602 | 700 |
Как видно из таблицы, даже самая тяжелая модель Llama 2 70B в квантовании 2.5 bpw выдает около 33-38 токенов в секунду на RTX 4090, что является отличным показателем для чтения. Маленькие модели, такие как TinyLlama 1.1B, могут генерировать текст со скоростью более 700 токенов в секунду, что делает их идеальными для задач, требующих мгновенного отклика.
05Установка и настройка: Пошаговое руководство
Установка ExLlamaV2 может быть выполнена несколькими способами. Для пользователей, готовых к компиляции кода, рекомендуется первый метод. Для тех, кто предпочитает готовые решения, существуют варианты с предустановленными бинарниками.
Метод 1: Установка из исходного кода (Рекомендуемый)
Этот метод позволяет получить последнюю версию разработки. Вам потребуется установленный CUDA Toolkit, компилятор gcc (на Linux) или Visual Studio Build Tools (на Windows), а также соответствующая версия PyTorch.
git clone https://github.com/turboderp/exllamav2
cd exllamav2
pip install -r requirements.txt
pip install .По умолчанию скрипт установит и скомпилирует C++ расширение (exllamav2_ext), от которого зависит библиотека. Если вы хотите пропустить этап компиляции и использовать "JIT-версию" (Just-In-Time), которая собирает расширение при первом запуске, установите переменную окружения:
EXLLAMA_NOCOMPILE=1 pip install .JIT-версия сохраняет собранные расширения в кэше ~/.cache/torch_extensions, что ускоряет последующие запуски.
Метод 2: Установка из релизов (Предустановленные колеса)
На странице релизов GitHub доступны готовые wheel-файлы. Важно точно подобрать версию, соответствующую вашей платформе, версии Python (например, cp311) и версии CUDA. Критически важно, чтобы версия wheel совпадала с вашей версией PyTorch, так как ABI (Application Binary Interface) C++ расширения PyTorch меняется с каждой новой версией.
Пример установки напрямую из URL:
pip install https://github.com/turboderp/exllamav2/releases/download/v0.0.12/exllamav2-0.0.12+cu121-cp311-cp311-linux_x86_64.whlМетод 3: Установка из PyPI
Пакет также доступен в официальном репозитории Python. Это аналог JIT-версии:
pip install exllamav206Интеграция с популярными интерфейсами
ExLlamaV2 не требует использования собственного интерфейса. Он легко интегрируется в существующие экосистемы:
- TabbyAPI: Основной бэкенд. Предоставляет OpenAI-совместимый API. Идеально для интеграции с SillyTavern, Open WebUI и другими фронтендами.
- ExUI: Простой автономный веб-интерфейс для одного пользователя. Поддерживает режимы чата и ноутбука. Хорош для быстрого тестирования без сложной настройки.
- text-generation-webui (Oobabooga): Поддерживает ExLlamaV2 через загрузчики
exllamav2иexllamav2_HF. Это один из самых популярных способов запуска LLM в России. - lollms-webui: Также поддерживает ExLlamaV2 через биндинг exllamav2.
Для быстрого старта можно запустить встроенный консольный чат-бот:
python examples/chat.py -m path_to_model -mode llama -gs autoФлаг -mode выбирает формат промпта. Аргумент -gs auto автоматически распределяет слои модели по доступным GPU. Вы также можете задать системный промпт через флаг -sp.
--gpu_split auto. Он автоматически распределяет веса модели по всем доступным видеокартам, позволяя запускать модели, которые не помещаются в память одной карты.07Квантование и конвертация моделей
ExLlamaV2 поставляется со скриптом для квантования моделей. Процесс может быть медленным для больших моделей, поэтому будьте готовы к тому, что конвертация Llama 2 70B займет время. Скрипт позволяет настраивать параметры квантования, включая калибровочные данные, которые влияют на точность результата.
Также доступны скрипты для оценки (evaluation) моделей. Они позволяют проверить, как квантованная модель сохраняет качество оригинала. Детали использования этих скриптов можно найти в документации проекта.
08Сообщество и ресурсы
Для получения помощи и обсуждения проектов существует Discord-сообщество. Там же можно воспользоваться бесплатной услугой квантования моделей, предоставляемой через бота в канале #bot test. Вычисления выполняются на мощностях Lambda Labs, что позволяет пользователям без доступа к мощным серверам получать качественные EXL2-модели.
На Hugging Face можно найти множество уже квантованных моделей в формате EXL2. Автор проекта (turboderp) выложил несколько примеров, а также существуют репозитории от пользователей, таких как LoneStriker и bartowski, которые предоставляют обширные коллекции готовых моделей.
09Что это значит на практике
Для обычного пользователя в России, который хочет запустить локальный ИИ-ассистент, ExLlamaV2 (и его преемник ExLlamaV3) открывает двери в мир мощных моделей без необходимости покупать дорогое оборудование. Благодаря эффективному квантованию EXL2, вы можете запустить Llama 2 70B на видеокарте с 24 ГБ памяти, получая скорость, достаточную для комфортного общения. Для более слабых карт (8-12 ГБ) отлично подходят модели 7B-13B в квантовании 3-4 bpw, которые выдают сотни токенов в секунду.
Интеграция с TabbyAPI и SillyTavern делает этот стек полностью совместимым с популярными русскоязычными сообществами, где SillyTavern является стандартом де-факто для ролевых игр и творческого письма. Понимание принципов работы ExLlamaV2 позволяет не только запускать модели, но и оптимизировать их под свои задачи, выбирая баланс между скоростью и качеством через настройку битрейта квантования.
Источник: Hacker News ↗