NVIDIA PAIR: Распределяем локальный AI между RTX, DGX Spark и Mac

Проблема локального инференса и решение NVIDIA

Многослойные AI-агенты (multi-agent workflows) превращают один запрос пользователя в десятки независимых вызовов моделей. Когда все они направляются в один локальный движок (Ollama или LM Studio), возникает узкое место: очередь растет, а ресурсы соседних устройств простаивают. NVIDIA Personal AI Router (PAIR) решает эту проблему, выступая виртуальным маршрутизатором, который обнаруживает совместимые машины в домашней сети и распределяет запросы между ними.

Как работает PAIR: Архитектура и безопасность

PAIR не является новым движком инференса — он использует существующие Ollama или LM Studio на каждом узле. Ключевые технические особенности:

• Проксирование API: PAIR перехватывает стандартные порты Ollama/LM Studio и предоставляет OpenAI-совместимые эндпоинты. Агентные системы не требуют изменений кода.
• Обнаружение и сопряжение: Используется mDNS для поиска устройств. Доверие устанавливается через 6-значный PIN-код, после чего связь шифруется mTLS.
• Распределение: Запрос отправляется на один узел, где модель уже загружена. PAIR не пулирует VRAM и не шардирует модели между картами.

Демонстрация производительности

В демонстрации с использованием Hermes Desktop и модели Qwen 3.6 35B A3B, PAIR показал значительное ускорение за счет параллельной обработки пяти подзадач агентами:

Требования к оборудованию и совместимость

PAIR поддерживает смешанные среды. Узлами могут быть устройства с разными архитектурами и ОС, главное — наличие совместимого GPU и движка.

Статус релиза

PAIR доступен в публичной бета-версии v0.1.1 под лицензией Apache 2.0. Исходный код опубликован на GitHub. На данный момент планировщик учитывает загрузку GPU и наличие модели, но не различает классы GPU или «теплоту» моделей.

Источник: MarkTechPost ↗