AIKraft Agents
Главная/Блог/Гайд/Установка text-generation-webui…
Гайд3 мин чтения · 25 октября 2026 г.

Установка text-generation-webui локально: пошаговый гайд

Полное руководство по запуску мощного локального LLM-интерфейса text-generation-webui (TextGen) на вашем ПК. Поддержка Windows, Linux, macOS, NVIDIA, AMD и CPU.

Установка text-generation-webui локально: пошаговый гайд

TextGen (ранее известная как text-generation-webui) — это, пожалуй, самый популярный и функциональный open-source интерфейс для запуска локальных больших языковых моделей (LLM). Он позволяет превратить ваш домашний компьютер в полноценный AI-сервер, поддерживающий чат, работу с файлами, визуальное понимание (мультимодальность), вызов инструментов (tool-calling) и даже генерацию изображений. Главное преимущество — полная конфиденциальность: работа происходит офлайн, без отправки данных на внешние серверы. Этот гайд поможет вам быстро установить и запустить интерфейс, адаптированный для российского пользователя с учетом особенностей железа и доступа к ресурсам.

01Требования

Требования сильно зависят от выбранного метода установки и типа вашей видеокарты. TextGen поддерживает несколько бэкендов, но самый распространенный — llama.cpp (через GGUF-модели), который работает даже на процессоре, albeit медленно.

  • Операционная система: Windows 10/11, Linux (Ubuntu/Debian/WSL), macOS (Intel и Apple Silicon). Для Windows и Linux доступны «портативные» сборки, не требующие установки Python.
  • Оперативная память (RAM): Для загрузки моделей требуется значительный объем памяти. Потребности варьируются в зависимости от размера модели: для компактных моделей достаточно базового объема, для средних — заметно больше, а для крупных моделей требуется существенный объем VRAM или системной RAM (с возможным замедлением).
  • Видеокарта (VRAM): Идеально — NVIDIA с достаточным объемом VRAM для выбранной модели. Поддерживаются также AMD (ROCm на Linux) и Apple Silicon (MPS). Для CPU-режима достаточно любой современной многоядерной процессорной системы.
  • Python: Требуется версия 3.9 или выше. В портативной сборке Python уже встроен.
⚠️
Важно. Если вы находитесь в РФ, при установке через pip или git могут возникать проблемы с доступом к серверам Hugging Face или PyPI из-за блокировок или медленных соединений. Используйте прокси или зеркала, а также убедитесь, что у вас есть доступ к Hugging Face для скачивания моделей (или используйте локальные копии GGUF-файлов).

02Установка

Существует два основных пути: быстрый портативный (для большинства пользователей) и полная установка (для продвинутых, с поддержкой обучения и других бэкендов).

Вариант 1: Портативная сборка (Рекомендуется для старта)

Это самый простой способ. Вы скачиваете готовый архив, распаковываете его и запускаете. Все зависимости уже внутри.

  1. Перейдите на страницу Releases официального репозитория.
  2. Скачайте архив, соответствующий вашей ОС и железу (например, textgen-portable-windows-cuda.zip для NVIDIA на Windows или textgen-portable-linux-cpu.zip для Linux без GPU).
  3. Распакуйте архив в удобную папку (желательно без кириллицы в пути).
  4. Запустите файл textgen (или textgen.exe).

Вариант 2: Ручная установка с venv (Для гибкости)

Если вы хотите контролировать версии библиотек или используете нестандартную конфигурацию.

  1. Убедитесь, что у вас установлен Git и Python 3.9+.
  2. Клонируйте репозиторий:
terminalbash
git clone https://github.com/oobabooga/textgen
cd textgen
  1. Создайте виртуальное окружение:
terminalbash
python -m venv venv
  1. Активируйте окружение. Для Windows:
terminalbash
venv\Scripts\activate

Для macOS/Linux:

terminalbash
source venv/bin/activate
  1. Установите зависимости. Выберите файл требований в зависимости от вашего железа (файлы находятся в папке requirements/portable/). Например, для NVIDIA:
terminalbash
pip install -r requirements/portable/requirements.txt --upgrade
💡
Совет. Если у вас AMD-видеокарта на Linux, используйте файл requirements_amd.txt. Для CPU-режима — requirements_cpu_only.txt. Это сэкономит время и избежит ошибок совместимости.

03Первый запуск

После установки вам нужно скачать модель. Лучший формат для TextGen — GGUF (квантованные модели от llama.cpp). Они эффективны и поддерживают CPU/GPU гибридное ускорение.

  1. Скачайте модель: Зайдите на Hugging Face, найдите модель в формате GGUF (например, Qwen2.5-7B-Instruct или Llama-3.1-8B). Скачайте файл с расширением .gguf (рекомендуется квантование Q4_K_M для баланса скорости и качества).
  2. Поместите модель: Скопируйте файл .gguf в папку user_data/models внутри директории TextGen.
  3. Запустите сервер: В терминале (или через ярлык портативной сборки) выполните команду:
terminalbash
python server.py --portable --api --auto-launch

Эта команда запустит веб-интерфейс, откроет API и автоматически откроет браузер. Перейдите по адресу http://127.0.0.1:7860. В интерфейсе выберите загруженную модель и нажмите "Load". После загрузки вы сможете начать общение.

04Частые проблемы

  1. Ошибка "CUDA out of memory": Ваша видеокарта не справляется с объемом модели. Решение: используйте более квантованную версию модели (например, Q4 вместо Q8) или запустите модель на CPU, добавив флаг --cpu к команде запуска. Также проверьте, не заняты ли VRAM другими процессами.
  2. Медленная ге

    Источник: text-generation-webui (офиц. документация) ↗