Установка text-generation-webui локально: пошаговый гайд

Text Generation Web UI (часто называемый просто "textgen" или "oobabooga") — это, пожалуй, самый популярный и функциональный open-source интерфейс для запуска больших языковых моделей (LLM) локально. Он позволяет превратить ваш компьютер в полноценный аналог ChatGPT, поддерживая работу с текстом, изображениями (мультимодальность), вызовом инструментов (tool-calling) и даже генерацией картинок. Главное преимущество — полная конфиденциальность: все данные остаются на вашем устройстве, а телеметрии нет. Этот гайд поможет вам быстро установить и запустить интерфейс, адаптированный для российского пользователя с учетом особенностей железа и интернета.

01Требования

Перед установкой убедитесь, что ваше железо соответствует минимальным требованиям. Ключевой параметр — объем видеопамяти (VRAM) для NVIDIA/AMD или объединенной памяти для Apple Silicon. Для точной оценки необходимых ресурсов рекомендуется использовать официальный калькулятор памяти GGUF.

• Операционная система: Windows 10/11, Linux (Ubuntu/Debian/WSL2), macOS (Intel или Apple Silicon).
• Оперативная память (RAM): Рекомендуется достаточный объем для комфортной работы системы и загрузки моделей, особенно при использовании CPU-режима.
• Видеопамять (VRAM) / Память:
  • Минимальный объем: Запуск квантованных моделей. Производительность может быть ограничена, возможно использование CPU offload.
  • Средний объем: Комфортный запуск моделей среднего размера или более крупных в сильном квантовании.
  • Большой объем: Запуск моделей большого размера или крупных моделей в квантовании с частичной загрузкой в CPU.
• Диск: Требуется свободное место для системы, Python, PyTorch и самих моделей, размер которых может варьироваться.

02Установка

Существует два основных пути: «Портативная версия» (для быстрого старта без лишних настроек) и «Полная установка» (для продвинутых пользователей, желающих использовать все бэкенды, обучение LoRA и генерацию изображений). Для большинства практиков, желающих просто общаться с моделями, рекомендуем портативный режим через venv.

Вариант 1: Быстрый старт (Portable / Venv)

Этот метод создает изолированное окружение Python. Он не требует установки Anaconda и подходит для Windows, Linux и macOS.

1. Убедитесь, что у вас установлен Git и Python 3.9+.
2. Откройте терминал (командную строку) и клонируйте репозиторий:

git clone https://github.com/oobabooga/textgen
cd textgen

3. Создайте виртуальное окружение:

python -m venv venv

4. Активируйте окружение. Команда зависит от ОС:

# На Windows:
# Windows:
venv\Scripts\activate
# На macOS/Linux:
source venv/bin/activate

5. Установите зависимости. Выберите файл требований в зависимости от вашего железа. Для NVIDIA-карт используйте стандартный файл:

pip install -r requirements/portable/requirements.txt --upgrade

Примечание: Если у вас AMD, используйте requirements_amd.txt, если только CPU — requirements_cpu_only.txt.

Вариант 2: Полная установка (Conda)

Выбирайте этот вариант, если планируете использовать бэкенды ExLlamaV3, Transformers, обучать LoRA или генерировать изображения. Требуется заметный объем свободного места.

1. Установите Miniforge (аналог Miniconda для ARM/AMD64):

curl -sL "https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Linux-x86_64.sh" > "Miniforge3.sh"
bash Miniforge3.sh

2. Создайте окружение и активируйте его:

conda create -n textgen python=3.13
conda activate textgen

3. Установите PyTorch. Пример для NVIDIA Linux/Windows:

pip3 install torch==2.9.1 --index-url https://download.pytorch.org/whl/cu128

4. Клонируйте репозиторий и установите зависимости:

git clone https://github.com/oobabooga/textgen
cd textgen
pip install -r requirements/full/requirements.txt

03Первый запуск

После установки вам нужно скачать модель. Лучший источник — Hugging Face. Ищите модели в формате GGUF (совместимы с llama.cpp, самый быстрый формат для локального запуска). Например, Qwen2.5-7B-Instruct-Q4_K_M.gguf.

1. Скачайте файл модели.
2. Поместите его в папку user_data/models внутри директории textgen.
3. Запустите сервер:

python server.py --portable --api --auto-launch

Команда --auto-launch откроет браузер с интерфейсом. --api включает режим API, полезный для интеграции с

Источник: text-generation-webui (офиц. документация) ↗