LocalAI — это мощный open-source движок, который позволяет развернуть локальную инфраструктуру ИИ, полностью совместимую с API OpenAI, Anthropic и ElevenLabs. Это решение идеально подходит для практиков, разработчиков и компаний, которым необходимо сохранить конфиденциальность данных, избежать зависимости от облачных провайдеров или запустить ИИ-модели на собственном оборудовании. LocalAI поддерживает работу с LLM, генерацией изображений, обработкой голоса и видео, работая как на мощных GPU, так и на CPU или Apple Silicon.
01Требования
Для работы LocalAI требуется базовое понимание работы с терминалом и контейнеризацией. Архитектура LocalAI построена так, что вы устанавливаете только то, что используете, подгружая бэкенды (например, llama.cpp, vLLM) по требованию.
- Операционная система: Linux, macOS, Windows (через WSL2 или Docker Desktop).
- Docker: Установленный и настроенный Docker Engine (версия 20.10+ рекомендуется). Для macOS используется Docker Desktop.
- Железо:
- CPU-only: Любая современная машина. Производительность будет зависеть от количества ядер.
- NVIDIA GPU: Видеокарты с поддержкой CUDA. Требуется установка драйверов NVIDIA и
nvidia-container-toolkitв Linux. - AMD GPU: Поддержка через ROCm (HIP).
- Apple Silicon: Поддержка через Metal (в рамках Docker Desktop для Mac).
nvidia-container-toolkit. Без него запуск контейнера с флагом --gpus all завершится ошибкой. На macOS и Windows GPU-ускорение доступно через соответствующие драйверы Docker Desktop.02Установка
Самый простой и надежный способ установки LocalAI — использование Docker. Это изолирует среду выполнения и автоматически управляет зависимостями.
Шаг 1. Установка Docker
Если Docker еще не установлен, скачайте его с официального сайта docker.com. Убедитесь, что сервис запущен:
docker --versionШаг 2. Выбор образа для вашего железа
LocalAI предоставляет разные образы в зависимости от типа вашего оборудования. Выберите подходящий вариант ниже.
Вариант А: Только CPU (универсальный)
Подходит для тестирования, работы с небольшими моделями или если у вас нет дискретной видеокарты.
docker run -ti --name local-ai -p 8080:8080 localai/localai:latestВариант Б: NVIDIA GPU (CUDA 12)
Рекомендуется для большинства современных видеокарт NVIDIA (RTX 30xx, 40xx, A100 и др.).
docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-12Вариант В: AMD GPU (ROCm)
Для видеокарт серии Radeon RX 5000/6000/7000 и профессиональных Instinct.
docker run -ti --name local-ai -p 8080:8080 --device=/dev/kfd --device=/dev/dri --group-add=video localai/localai:latest-gpu-hipblasВариант Г: Intel GPU
Для встроенной графики Intel Arc или Iris Xe.
docker run -ti --name local-ai -p 8080:8080 --device=/dev/dri/card1 --device=/dev/dri/renderD128 localai/localai:latest-gpu-intellocalai/localai:latest. Docker Desktop автоматически маппит Metal API для ускорения вычислений на Apple Silicon.03Первый запуск
После запуска контейнера LocalAI начнет работу. Он автоматически определит доступные ресурсы и начнет подгружать необходимые бэкенды. Теперь можно загрузить первую модель.
Загрузка модели
Используйте команду local-ai run для загрузки модели из встроенной галереи или Hugging Face. LocalAI сам скачает бэкенд (например, llama.cpp) и модель.
local-ai run llama-3.2-1b-instruct:q4_k_mЭта команда запустит модель Llama 3.2 (1 миллиард параметров) в квантованном формате Q4_K_M, что обеспечивает хороший баланс между скоростью и качеством на любом оборудовании.
Проверка работы API
LocalAI слушает порт 8080. Вы можете проверить доступность API, отправив запрос, аналогичный запросу к OpenAI:
curl http://localhost:8080/v1/modelsВ ответ вы получите список доступных моделей. Теперь вы можете использовать любой клиент, совместимый с OpenAI (например, LangChain, LlamaIndex или простые скрипты на Python), указав базовый URL http://localhost:8080/v1 и пустой или любой ключ API.
Работа в терминале
Для быстрого общения с моделью можно использовать встроенный чат:
local-ai chat --model llama-3.2-1b-instruct:q4_k_m04Частые проблемы
1. Ошибка "No GPU detected" или медленная работа на CPU
Если у вас есть GPU, но LocalAI работает на процессоре, проверьте, правильно ли переданы флаги --gpus all (для NVIDIA) или --device (для AMD/Intel). Также убедитесь, что вы используете правильный образ (с суффиксом -gpu-...). На Linux проверьте наличие nvidia-container-toolkit.
2. Нехватка памяти (OOM)
Запуск больших моделей (70B+ параметров) требует значительного объема VRAM или RAM. Если контейнер падает, попробуйте:
- Использовать более квантованные модели (например, Q2_K или Q3_K вместо Q4_K_M).
- Уменьшить количество слоев, загружаемых на GPU, если используете продвинутые настройки.
- Запустить модель меньшего размера (например, 7B или 3B).
3. Ошибки сети при загрузке моделей
LocalAI загружает модели из Hugging Face или OCI-реестров. Если вы находитесь в РФ или используете корпоративный прокси, загрузка может блокироваться. В этом случае:
- Используйте зеркала Hugging Face.
- Скачайте GGUF-файлы вручную и положите их в директорию, смонтированную в контейнер.
- Настройте прокси-переменные в Docker.
05Кому подойдёт
- Разработчикам: Для локальной разработки и тестирования приложений, использующих LLM, без риска утечки данных в облако.
- Бизнесу: Для создания приватных чат-ботов, систем анализа документов и генерации контента внутри корпоративного периметра.
- Энтузиастам: Для экспериментов с различными архитектурами моделей (LLM, Vision, Audio) на домашнем железе.
- Инженерам по данным: Для быстрого прототипирования и бенчмаркинга моделей перед их внедрением в продакшн.
Источник: LocalAI (офиц. документация) ↗