Janus
Локальный сервер LLM на Go с запуском GGUF-моделей через Vulkan и OpenAI-совместимым API.
Что это
Janus — это легковесный сервер для локального запуска больших языковых моделей, написанный на языке Go. Он позволяет использовать GGUF-модели непосредственно на вашем компьютере, обеспечивая работу как на графических процессорах (через Vulkan для AMD, Intel и NVIDIA), так и на центральных процессорах.
Ключевая особенность проекта — отсутствие зависимости от Python, Docker или Ollama. Приложение упаковано в один бинарный файл, что упрощает установку и запуск. Сервер предоставляет API, совместимый с OpenAI, что позволяет использовать его с любыми клиентами, поддерживающими этот стандарт.
Инструмент подходит для разработчиков и пользователей, желающих интегрировать локальные модели в свои рабочие процессы. Его можно вызывать через командную строку, скрипты, PowerShell или подключать к таким инструментам, как Cursor и Cline, для получения ответов от ИИ без отправки данных в облако.