llm-chat-completions-server: Локальный API для LLM

В мире искусственного интеллекта, где границы между локальными вычислениями и облачными сервисами стираются, разработчики постоянно ищут способы интегрировать мощные языковые модели в свои приложения без зависимости от проприетарных API. Одной из ключевых проблем, с которой сталкиваются энтузиасты и профессионалы, является унификация интерфейсов. Различные модели требуют разных форматов запросов, что усложняет разработку универсальных клиентов. Именно для решения этой задачи был создан плагин llm-chat-completions-server, позволяющий запустить локальный сервер, экспонирующий endpoint, совместимый с API OpenAI Chat Completions.

Этот инструмент становится особенно актуальным в контексте последних обновлений фреймворка LLM, где особое внимание уделяется контент-адресуемым логам и эффективному управлению состоянием диалога. В этой статье мы подробно разберем, как работает этот плагин, зачем он нужен, как его установить и настроить, а также какие возможности он открывает для локального запуска больших языковых моделей (LLM) на вашем собственном оборудовании.

01Контекст: Зачем нужен локальный сервер Chat Completions?

До появления подобных инструментов интеграция локальных моделей в приложения, написанные с использованием стандартных библиотек для работы с OpenAI, требовала значительных усилий. Разработчикам приходилось писать обертки, преобразующие специфические запросы их локальной модели в формат, ожидаемый клиентом. Это не только увеличивало время разработки, но и создавало дополнительные точки отказа.

Идея llm-chat-completions-server заключается в том, чтобы предоставить единый интерфейс, который понимает стандартный протокол OpenAI. Это означает, что любое приложение, способное работать с API OpenAI, сможет взаимодействовать с вашей локальной моделью без изменения кода. Это критически важно для тестирования, прототипирования и развертывания приложений в средах, где доступ к внешним API ограничен или нежелателен из соображений конфиденциальности.

Кроме того, локальный запуск обеспечивает полный контроль над данными. Ваши диалоги не покидают ваш компьютер, что делает этот подход идеальным для работы с чувствительной информацией. В эпоху, когда вопросы приватности данных становятся все более острыми, возможность запустить мощную модель, такую как Qwen или Llama, на собственном сервере, является не просто удобством, а необходимостью для многих профессионалов.

02Архитектура и новые возможности LLM 0.32rc1

Разработка плагина была напрямую связана с внедрением новых функций в фреймворке LLM, начиная с версии 0.32rc1. Ключевой целью этих изменений стала поддержка контент-адресуемых логов (content-addressable logs). Эта архитектура позволяет эффективно хранить и обрабатывать историю диалогов, используя хеши для дедупликации сообщений.

В традиционных системах состояние диалога часто передается клиентом в каждом запросе, что приводит к дублированию данных и увеличению объема передаваемой информации. Новый подход в LLM 0.32rc1 использует хеши отдельных частей сообщений для их идентификации. Это позволяет серверу эффективно управлять состоянием, не требуя от клиента повторной отправки всей истории диалога в каждом запросе.

Такой подход не только оптимизирует использование пропускной способности, но и упрощает логику на стороне клиента. Клиент может отправлять только новые сообщения, а сервер, используя хеши, восстанавливает полный контекст диалога. Это делает систему более масштабируемой и надежной, особенно при работе с длинными контекстами.

03Установка и настройка плагина

Процесс установки плагина llm-chat-completions-server максимально упрощен и интегрирован в экосистему LLM. Для начала вам необходимо убедиться, что у вас установлен фреймворк LLM. Если вы еще не установили его, вы можете сделать это с помощью менеджера пакетов uv, который является современным и быстрым инструментом для управления Python-пакетами.

Первым шагом является установка предварительной версии LLM, так как плагин требует новых функций, доступных только в экспериментальных релизах. Команда для установки выглядит следующим образом:

uv tool install llm --pre

После успешной установки фреймворка LLM, вы можете установить сам плагин. Это делается с помощью стандартной команды установки плагинов LLM:

llm install llm-chat-completions-server

Эта команда загружает плагин и регистрирует его в системе. Теперь вы готовы запустить сервер. Для этого используется команда llm chat-completions-server. По умолчанию сервер запускается на порту 9001, но вы можете указать любой другой порт, используя флаг -p.

llm chat-completions-server -p 9001

После запуска сервер начнет прослушивать входящие соединения на указанном порту. Он автоматически обнаружит все модели, доступные через установленные плагины LLM, и сделает их доступными через единый интерфейс Chat Completions.

04Пример использования: Работа с API

Чтобы проверить работоспособность сервера, можно использовать стандартную утилиту curl для отправки запроса. Ниже приведен пример запроса, который имитирует простой диалог с моделью.

В этом примере мы используем модель qwen3.5-4b, которая является одной из доступных локальных моделей. Запрос отправляется на локальный адрес http://localhost:9001/v1/chat/completions.

curl http://localhost:9001/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "qwen3.5-4b",
    "messages": [
      {"role": "user", "content": "Capital of France?"},
      {"role": "assistant", "content": "Paris."},
      {"role": "user", "content": "Germany?"}
    ]
  }'

Источник: Simon Willison ↗