AIKraft Agents
Инструменты14 ноября 2026 г., 09:45 МСК🤖 Auto

Argus: Объединяем GPU, CPU и смартфоны в один LLM-кластер

Проект Argus позволяет запускать локальные LLM, распределяя вычисления между видеокартой ПК, процессором и старыми смартфонами по USB или Wi-Fi, обходя нехватку VRAM.

Баннер новости 11915

Суть проекта: домашний LLM-кластер из подручных средств

Разработчик slopmaster1884 представил проект Argus — систему, которая превращает домашний компьютер и подключенные смартфоны в единую вычислительную среду для запуска больших языковых моделей (LLM). Главная проблема локальных нейросетей — нехватка видеопамяти (VRAM) — решается за счет распределения слоев модели между GPU, CPU и оперативной памятью телефонов.

Система работает полностью офлайн, не требует root-прав на Android и использует стек на базе Tauri (Rust + React), llama.cpp (версия b12008) и whisper.cpp. Пользователь просто пишет в чат, а Argus сам определяет оптимальное распределение вычислений, измеряя скорость и доступную память каждого устройства.

Технические детали и архитектура

Argus динамически распределяет слои нейросети. Если модель помещается в видеокарту, телефоны не задействуются для максимальной скорости. В противном случае нагрузка делится. Поддерживаются соединения по USB (через ADB) и Wi-Fi. В версии 0.3.4 добавлена поддержка USB-модема, что позволяет обойти задержки ADB и напрямую использовать сеть телефона, что значительно повышает пропускную способность.

Система учитывает температуру устройств: перегретый телефон получает меньше задач, чтобы избежать троттлинга. Также реализован режим MoE (Mixture of Experts), где «эксперты» модели могут храниться на телефонах, а за один токен активна только малая часть параметров.

Производительность и бенчмарки

Ключевое преимущество Argus — возможность запускать модели, которые не влезают в VRAM даже топовых карт, используя RAM телефонов. Однако скорость генерации зависит от канала связи. Ниже приведены данные по оптимизации скорости:

Конфигурация / Режим Модель Результат (токенов/сек) Примечание
USB (ADB) + GTX 960 + Телефоны Gemma 2 2B ~16 t/s Базовая скорость через отладочный интерфейс
USB-модем (прямая сеть) + GTX 960 + Телефоны Gemma 2 2B ~36 t/s Ускорение в 2.25 раза за счет обхода ADB
Рекомендуемый формат для телефонов Qwen3 4B/8B Зависит от CPU телефона Формат Q4_0 работает быстрее на мобильных чипах

Функционал и совместимость

Argus совместим с API OpenAI, что позволяет подключать его к интерфейсам Open WebUI, Jan, Continue и Hermes. Поддерживаются следующие сценарии использования:

  • Чат и код: Полноценный интерфейс с поддержкой нескольких диалогов, вставкой файлов и изображений.
  • Голосовой ввод: Использование микрофона телефона для распознавания речи через whisper.cpp.
  • Офлайн-библиотека: Запуск Kiwix-serve на старом телефоне для доступа к Википедии без интернета.
  • Telegram-бот: Доступ к локальной модели через мессенджер.
  • Агент: Возможность управления ПК с подтверждением действий пользователем.

Требования к железу и безопасность

Проект позиционируется как решение для слабых ПК (тестировалось на GTX 960 с 4 ГБ VRAM). Для работы требуется Android-смартфон с включенной отладкой по USB. Root-права не нужны.

Разработчик предупреждает о рисках безопасности: в режиме Wi-Fi порт 50052 доступен всем устройствам в локальной сети. Рекомендуется использовать Argus только в домашней сети, не пробрасывать порты в интернет и использовать PIN-код для веб-интерфейса. Обновления устанавливаются только с явного согласия пользователя, файлы проверяются по хешу SHA-256.

Источник: Github ↗