AIKraft Agents
Главная/Блог/Гайд/Установка LocalAI локально: OpenAI API…
Гайд4 мин чтения · 29 октября 2026 г.

Установка LocalAI локально: OpenAI API на своём железе

Пошаговая инструкция по запуску LocalAI через Docker. Поддержка CPU, NVIDIA, AMD и Apple Silicon. Полная совместимость с API OpenAI.

LocalAI — это мощный open-source движок, который позволяет развернуть локальную инфраструктуру ИИ, полностью совместимую с API OpenAI, Anthropic и ElevenLabs. Это решение идеально подходит для практиков, разработчиков и компаний, которым необходимо сохранить конфиденциальность данных, избежать зависимости от облачных провайдеров или запустить ИИ-модели на собственном оборудовании. LocalAI поддерживает работу с LLM, генерацией изображений, обработкой голоса и видео, работая как на мощных GPU, так и на CPU или Apple Silicon.

01Требования

Для работы LocalAI требуется базовое понимание работы с терминалом и контейнеризацией. Архитектура LocalAI построена так, что вы устанавливаете только то, что используете, подгружая бэкенды (например, llama.cpp, vLLM) по требованию.

  • Операционная система: Linux, macOS, Windows (через WSL2 или Docker Desktop).
  • Docker: Установленный и настроенный Docker Engine (версия 20.10+ рекомендуется). Для macOS используется Docker Desktop.
  • Железо:
    • CPU-only: Любая современная машина. Производительность будет зависеть от количества ядер.
    • NVIDIA GPU: Видеокарты с поддержкой CUDA. Требуется установка драйверов NVIDIA и nvidia-container-toolkit в Linux.
    • AMD GPU: Поддержка через ROCm (HIP).
    • Apple Silicon: Поддержка через Metal (в рамках Docker Desktop для Mac).
⚠️
Важно. Для работы с GPU на Linux необходимо установить nvidia-container-toolkit. Без него запуск контейнера с флагом --gpus all завершится ошибкой. На macOS и Windows GPU-ускорение доступно через соответствующие драйверы Docker Desktop.

02Установка

Самый простой и надежный способ установки LocalAI — использование Docker. Это изолирует среду выполнения и автоматически управляет зависимостями.

Шаг 1. Установка Docker

Если Docker еще не установлен, скачайте его с официального сайта docker.com. Убедитесь, что сервис запущен:

terminalbash
docker --version

Шаг 2. Выбор образа для вашего железа

LocalAI предоставляет разные образы в зависимости от типа вашего оборудования. Выберите подходящий вариант ниже.

Вариант А: Только CPU (универсальный)

Подходит для тестирования, работы с небольшими моделями или если у вас нет дискретной видеокарты.

terminalbash
docker run -ti --name local-ai -p 8080:8080 localai/localai:latest

Вариант Б: NVIDIA GPU (CUDA 12)

Рекомендуется для большинства современных видеокарт NVIDIA (RTX 30xx, 40xx, A100 и др.).

terminalbash
docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-12

Вариант В: AMD GPU (ROCm)

Для видеокарт серии Radeon RX 5000/6000/7000 и профессиональных Instinct.

terminalbash
docker run -ti --name local-ai -p 8080:8080 --device=/dev/kfd --device=/dev/dri --group-add=video localai/localai:latest-gpu-hipblas

Вариант Г: Intel GPU

Для встроенной графики Intel Arc или Iris Xe.

terminalbash
docker run -ti --name local-ai -p 8080:8080 --device=/dev/dri/card1 --device=/dev/dri/renderD128 localai/localai:latest-gpu-intel
💡
Совет. Если вы используете macOS с чипом M1/M2/M3, используйте стандартный образ localai/localai:latest. Docker Desktop автоматически маппит Metal API для ускорения вычислений на Apple Silicon.

03Первый запуск

После запуска контейнера LocalAI начнет работу. Он автоматически определит доступные ресурсы и начнет подгружать необходимые бэкенды. Теперь можно загрузить первую модель.

Загрузка модели

Используйте команду local-ai run для загрузки модели из встроенной галереи или Hugging Face. LocalAI сам скачает бэкенд (например, llama.cpp) и модель.

terminalbash
local-ai run llama-3.2-1b-instruct:q4_k_m

Эта команда запустит модель Llama 3.2 (1 миллиард параметров) в квантованном формате Q4_K_M, что обеспечивает хороший баланс между скоростью и качеством на любом оборудовании.

Проверка работы API

LocalAI слушает порт 8080. Вы можете проверить доступность API, отправив запрос, аналогичный запросу к OpenAI:

terminalbash
curl http://localhost:8080/v1/models

В ответ вы получите список доступных моделей. Теперь вы можете использовать любой клиент, совместимый с OpenAI (например, LangChain, LlamaIndex или простые скрипты на Python), указав базовый URL http://localhost:8080/v1 и пустой или любой ключ API.

Работа в терминале

Для быстрого общения с моделью можно использовать встроенный чат:

terminalbash
local-ai chat --model llama-3.2-1b-instruct:q4_k_m

04Частые проблемы

1. Ошибка "No GPU detected" или медленная работа на CPU

Если у вас есть GPU, но LocalAI работает на процессоре, проверьте, правильно ли переданы флаги --gpus all (для NVIDIA) или --device (для AMD/Intel). Также убедитесь, что вы используете правильный образ (с суффиксом -gpu-...). На Linux проверьте наличие nvidia-container-toolkit.

2. Нехватка памяти (OOM)

Запуск больших моделей (70B+ параметров) требует значительного объема VRAM или RAM. Если контейнер падает, попробуйте:

  • Использовать более квантованные модели (например, Q2_K или Q3_K вместо Q4_K_M).
  • Уменьшить количество слоев, загружаемых на GPU, если используете продвинутые настройки.
  • Запустить модель меньшего размера (например, 7B или 3B).

3. Ошибки сети при загрузке моделей

LocalAI загружает модели из Hugging Face или OCI-реестров. Если вы находитесь в РФ или используете корпоративный прокси, загрузка может блокироваться. В этом случае:

  • Используйте зеркала Hugging Face.
  • Скачайте GGUF-файлы вручную и положите их в директорию, смонтированную в контейнер.
  • Настройте прокси-переменные в Docker.

05Кому подойдёт

  • Разработчикам: Для локальной разработки и тестирования приложений, использующих LLM, без риска утечки данных в облако.
  • Бизнесу: Для создания приватных чат-ботов, систем анализа документов и генерации контента внутри корпоративного периметра.
  • Энтузиастам: Для экспериментов с различными архитектурами моделей (LLM, Vision, Audio) на домашнем железе.
  • Инженерам по данным: Для быстрого прототипирования и бенчмаркинга моделей перед их внедрением в продакшн.

Источник: LocalAI (офиц. документация) ↗