Установка LocalAI локально: OpenAI API на своём железе

LocalAI — это мощный open-source движок, который позволяет развернуть полностью совместимый с OpenAI API сервер на вашем собственном оборудовании. Это решение идеально подходит для практиков, желающих сохранить конфиденциальность данных, избежать ежемесячных подписок или просто получить полный контроль над своими ИИ-моделями. LocalAI поддерживает не только большие языковые модели (LLM), но и работу с изображениями, голосом и видео, работая на любом железе: от CPU до NVIDIA, AMD, Intel и Apple Silicon.

01Требования

Для работы LocalAI критически важна операционная система и наличие Docker. Сам проект не требует установки Python или сложных зависимостей на хост-машину, так как все компоненты (бэкенды) упакованы в отдельные контейнеры.

• Операционная система: Linux, macOS или Windows (с установленным Docker Desktop).
• Docker: Рекомендуется использовать актуальную версию Docker Compose для удобства, хотя базовый запуск возможен через docker run.
• Оперативная память (RAM): Требуется минимальный объем для запуска базовых функций. Для работы с моделями среднего размера рекомендуется выделенный объем памяти, достаточный для загрузки весов модели.
• Видеопамять (VRAM): Не обязательна. LocalAI отлично работает на процессоре. Однако для ускорения инференса LLM желательна видеокарта NVIDIA, AMD, Intel или Apple Silicon (Unified Memory), что позволяет заметно быстрее обрабатывать запросы.

02Установка

Самый надежный и простой способ установки — использование Docker. Это изолирует LocalAI от вашей основной системы и позволяет легко обновлять компоненты.

Шаг 1. Проверка Docker

Убедитесь, что Docker установлен и работает:

docker --version

Шаг 2. Запуск базового контейнера (CPU)

Для первого знакомства или если у вас нет видеокарты NVIDIA, запустите версию только на процессоре. Это займет меньше всего времени на загрузку.

docker run -ti --name local-ai -p 8080:8080 localai/localai:latest

Эта команда создаст контейнер local-ai, пробросит порт 8080 на хост и запустит сервер. Логи будут отображаться в терминале.

Шаг 3. Запуск с поддержкой GPU (NVIDIA)

Если у вас есть видеокарта NVIDIA, используйте специализированный образ. LocalAI поддерживает современные версии CUDA. Для большинства современных карт подходит актуальная версия CUDA.

docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-12

Для карт AMD (ROCm) или Intel Arc используются другие флаги и образы, например:

docker run -ti --name local-ai -p 8080:8080 --device=/dev/kfd --device=/dev/dri --group-add=video localai/localai:latest-gpu-hipblas

03Первый запуск

После запуска контейнера LocalAI готов принимать запросы. Однако модели не загружены в память. Вам нужно указать, какую модель использовать. LocalAI поддерживает загрузку моделей из галереи, Hugging Face или Ollama.

Шаг 1. Загрузка и запуск модели

Используйте утилиту local-ai внутри контейнера для запуска модели. Например, запустим легкую языковую модель:

local-ai run <model-name>

Эта команда автоматически скачает модель из галереи LocalAI и запустит её. Вы также можете указать прямую ссылку на Hugging Face:

local-ai run huggingface://<repo>/<file>

Шаг 2. Тестирование через терминал

Откройте новое окно терминала (не закрывая предыдущее) и подключитесь к запущенному серверу:

local-ai chat --model <model-name>

Теперь вы можете общаться с моделью прямо в консоли. Команда /models покажет доступные модели, а /model <name> переключит контекст.

Шаг 3. Интеграция с приложениями

Так как LocalAI эмулирует API OpenAI, вы можете подключить его к любым инструментам, поддерживающим OpenAI. Просто укажите базовый URL: http://localhost:8080/v1 и пустой или любой ключ API (LocalAI по умолчанию не требует аутентификации для локального использования, но её можно включить).

04Частые проблемы

1. Ошибка «No GPU detected» на NVIDIA: Убедитесь, что вы используете флаг --gpus all в команде docker run. Также проверьте, что драйверы NVIDIA и nvidia-container-toolkit установлены на хост-машине.
2. Медленная загрузка моделей: Модели могут занимать значительный объем дискового пространства. Убедитесь, что у вас стабильное интернет-соединение. При первом запуске LocalAI скачивает бэкенд и модель, что может занять время.
3. Проблемы с портами: Порт 8080 может быть занят другим сервисом. Измените флаг -p на -p 8081:8080 для использования друг

   Источник: LocalAI (офиц. документация) ↗