TextGen (ранее известная как text-generation-webui) — это, пожалуй, самый популярный и функциональный open-source интерфейс для запуска локальных больших языковых моделей (LLM). Он позволяет превратить ваш домашний компьютер в полноценный AI-сервер, поддерживающий чат, работу с файлами, визуальное понимание (мультимодальность), вызов инструментов (tool-calling) и даже генерацию изображений. Главное преимущество — полная конфиденциальность: работа происходит офлайн, без отправки данных на внешние серверы. Этот гайд поможет вам быстро установить и запустить интерфейс, адаптированный для российского пользователя с учетом особенностей железа и доступа к ресурсам.
01Требования
Требования сильно зависят от выбранного метода установки и типа вашей видеокарты. TextGen поддерживает несколько бэкендов, но самый распространенный — llama.cpp (через GGUF-модели), который работает даже на процессоре, albeit медленно.
- Операционная система: Windows 10/11, Linux (Ubuntu/Debian/WSL), macOS (Intel и Apple Silicon). Для Windows и Linux доступны «портативные» сборки, не требующие установки Python.
- Оперативная память (RAM): Для загрузки моделей требуется значительный объем памяти. Потребности варьируются в зависимости от размера модели: для компактных моделей достаточно базового объема, для средних — заметно больше, а для крупных моделей требуется существенный объем VRAM или системной RAM (с возможным замедлением).
- Видеокарта (VRAM): Идеально — NVIDIA с достаточным объемом VRAM для выбранной модели. Поддерживаются также AMD (ROCm на Linux) и Apple Silicon (MPS). Для CPU-режима достаточно любой современной многоядерной процессорной системы.
- Python: Требуется версия 3.9 или выше. В портативной сборке Python уже встроен.
pip или git могут возникать проблемы с доступом к серверам Hugging Face или PyPI из-за блокировок или медленных соединений. Используйте прокси или зеркала, а также убедитесь, что у вас есть доступ к Hugging Face для скачивания моделей (или используйте локальные копии GGUF-файлов).02Установка
Существует два основных пути: быстрый портативный (для большинства пользователей) и полная установка (для продвинутых, с поддержкой обучения и других бэкендов).
Вариант 1: Портативная сборка (Рекомендуется для старта)
Это самый простой способ. Вы скачиваете готовый архив, распаковываете его и запускаете. Все зависимости уже внутри.
- Перейдите на страницу Releases официального репозитория.
- Скачайте архив, соответствующий вашей ОС и железу (например,
textgen-portable-windows-cuda.zipдля NVIDIA на Windows илиtextgen-portable-linux-cpu.zipдля Linux без GPU). - Распакуйте архив в удобную папку (желательно без кириллицы в пути).
- Запустите файл
textgen(илиtextgen.exe).
Вариант 2: Ручная установка с venv (Для гибкости)
Если вы хотите контролировать версии библиотек или используете нестандартную конфигурацию.
- Убедитесь, что у вас установлен Git и Python 3.9+.
- Клонируйте репозиторий:
git clone https://github.com/oobabooga/textgen
cd textgen- Создайте виртуальное окружение:
python -m venv venv- Активируйте окружение. Для Windows:
venv\Scripts\activateДля macOS/Linux:
source venv/bin/activate- Установите зависимости. Выберите файл требований в зависимости от вашего железа (файлы находятся в папке
requirements/portable/). Например, для NVIDIA:
pip install -r requirements/portable/requirements.txt --upgraderequirements_amd.txt. Для CPU-режима — requirements_cpu_only.txt. Это сэкономит время и избежит ошибок совместимости.03Первый запуск
После установки вам нужно скачать модель. Лучший формат для TextGen — GGUF (квантованные модели от llama.cpp). Они эффективны и поддерживают CPU/GPU гибридное ускорение.
- Скачайте модель: Зайдите на Hugging Face, найдите модель в формате GGUF (например,
Qwen2.5-7B-InstructилиLlama-3.1-8B). Скачайте файл с расширением.gguf(рекомендуется квантование Q4_K_M для баланса скорости и качества). - Поместите модель: Скопируйте файл .gguf в папку
user_data/modelsвнутри директории TextGen. - Запустите сервер: В терминале (или через ярлык портативной сборки) выполните команду:
python server.py --portable --api --auto-launchЭта команда запустит веб-интерфейс, откроет API и автоматически откроет браузер. Перейдите по адресу http://127.0.0.1:7860. В интерфейсе выберите загруженную модель и нажмите "Load". После загрузки вы сможете начать общение.
04Частые проблемы
- Ошибка "CUDA out of memory": Ваша видеокарта не справляется с объемом модели. Решение: используйте более квантованную версию модели (например, Q4 вместо Q8) или запустите модель на CPU, добавив флаг
--cpuк команде запуска. Также проверьте, не заняты ли VRAM другими процессами. - Медленная ге
