Установка Jan локально: офлайн ИИ-ассистент

Jan — это open-source десктопное приложение, которое позволяет запускать большие языковые модели (LLM) прямо на вашем компьютере. В отличие от облачных сервисов вроде ChatGPT, Jan обеспечивает полную конфиденциальность: ваши данные не покидают устройство. Это идеальный инструмент для практиков, которым нужна приватность, работа в условиях отсутствия стабильного интернета или возможность кастомизации под свои задачи. Приложение поддерживает интеграцию с HuggingFace для загрузки моделей, работу с API сторонних провайдеров и даже протокол MCP для агентных возможностей.

01Требования

Поскольку Jan работает локально, производительность напрямую зависит от вашего «железа». Приложение построено на Tauri, что делает его легким, но обработка нейросетей требует ресурсов.

Операционная система

Windows: Windows 10 или 11. Рекомендуется наличие GPU (NVIDIA, AMD или Intel Arc) для ускорения.
macOS: Версия 13.6 и выше. Идеально работает на чипах Apple Silicon (M1/M2/M3) благодаря оптимизации Metal.
Linux: Большинство современных дистрибутов. Поддержка GPU-ускорения доступна.

Оперативная память (RAM) и VRAM

Ключевой параметр — объем памяти, так как модель загружается целиком в RAM/VRAM. Официальные рекомендации Jan:

⚠️

Важно. Для комфортной работы с моделями малого размера требуется минимальный объем ОЗУ. Для моделей среднего размера — заметно больше памяти. Для моделей 13B и выше необходимо значительное количество ОЗУ или больше. Если памяти мало, модель будет работать очень медленно, используя диск как подкачку.

Если у вас есть видеокарта NVIDIA, Jan попытается использовать VRAM для ускорения. На macOS вся память является общей (Unified Memory), что позволяет эффективно использовать большой объем памяти на мощных устройствах, например, Mac Studio.

Python и драйверы

Для стандартной установки через установщик не требуется установка Python или настройка окружения. Jan — это готовое приложение. Однако, если вы решите собрать его из исходного кода, потребуются Node.js ≥ 20.0.0, Yarn ≥ 4.5.3 и Rust.

02Установка

Самый простой способ — скачать готовый бинарный файл. Перейдите на страницу jan.ai или в GitHub Releases и выберите версию для вашей ОС.

Windows

Скачайте файл jan.exe (версия win-x64).
Запустите файл и следуйте инструкциям установщика.
Приложение появится в меню «Пуск».

macOS

Скачайте файл jan.dmg (mac-universal).
Откройте образ и перетащите иконку Jan в папку Applications.
Запустите из папки «Программы». При первом запуске macOS может попросить подтвердить запуск от разработчика, не имеющего сертификат Apple (так как это open-source проект).

Linux

Для Linux доступны два основных формата. Выберите тот, который подходит для вашего дистрибутива.

Для Debian/Ubuntu (deb):

terminalbash

# Скачайте пакет (ссылка актуальна на момент написания, проверьте latest release)
curl -L https://app.jan.ai/download/latest/linux-amd64-deb -o jan.deb
sudo dpkg -i jan.deb
sudo apt-get install -f # Для исправления зависимостей, если нужно

Для других дистрибуций (AppImage):

terminalbash

# Скачайте AppImage
curl -L https://app.jan.ai/download/latest/linux-amd64-appimage -o jan.AppImage

# Сделайте файл исполняемым
chmod +x jan.AppImage

# Запустите
./jan.AppImage

💡

Совет. Если вы находитесь в РФ или используете ограниченный интернет, скачивайте установочные файлы через торренты или зеркала, так как GitHub может быть недоступен или работать медленно. После установки само приложение работает офлайн.

03Первый запуск

После установки откройте Jan. Интерфейс минималистичен. Чтобы начать общение с ИИ, нужно загрузить модель.

Нажмите на вкладку Models (Модели) в боковом меню.
Нажмите Get Models или Download. Вы попадете в каталог HuggingFace, интегрированный в Jan.
Выберите модель. Для начала рекомендуем Llama-3-8B или Qwen-2-7B. Они хорошо сбалансированы по качеству и скорости.
Нажмите Download. Файл может весить от нескольких гигабайт в зависимости от квантования (рекомендуется GGUF формат).
После загрузки нажмите Start рядом с моделью.
Перейдите в чат и напишите первое сообщение.

Если вы хотите использовать Jan как API-сервер для других приложений, он автоматически запускает локальный сервер по адресу localhost:1337, совместимый с OpenAI API.

04Частые проблемы

1. Приложение не видит видеокарту

На Windows убедитесь, что у вас установлены последние драйверы NVIDIA или AMD. Jan использует llama.cpp под капотом. Если GPU не определяется, процесс перейдет в CPU-режим, что значительно медленнее. На macOS проблем обычно не возникает, так как Metal интегрирован глубоко.

2. Модель не запускается или вылетает

Чаще всего это нехватка оперативной памяти. Проверьте, сколько весит выбранная модель. Если у вас ограниченный объем ОЗУ, не пытайтесь запустить модель большого размера в полном разрешении. Выберите версию с квантованием Q4_K_M или Q5_K_M — они занимают меньше места и требуют меньше памяти, сохраняя приемлемое качество.

3. Ошибки при сборке из исходников (для разработчиков)

Если вы используете make dev, убедитесь, что у вас установлен Rust и Xcode Command Line Tools (на macOS). Ошибка xcodebuild -downloadComponent MetalToolchainИсточник: Jan (офиц. документация) ↗