Проблема облачных ассистентов в быту
Процедурные задачи, такие как сборка мебели или ремонт, требуют от пользователя постоянного контроля прогресса, пространственного мышления и быстрого восстановления после ошибок. Существующие мультимодальные ассистенты часто полагаются на облачные вычисления и непрерывное «всегда включенное» восприятие. Это создает две критические проблемы для домашнего использования: задержки (latency) и риски утечки приватных данных, так как камера постоянно транслирует изображение в облако.
Архитектура ProcAgent: Propose-and-Verify
Команда авторов (Azizul Zahid, Subrata Biswas и др.) разработала ProcAgent — агентную систему, работающую полностью на edge-устройстве. Ключевая инновация — архитектура «предложи и проверь» (propose-and-verify). Система использует граф задач (symbolic task graph) для непрерывного предложения прогресса пользователя. Тяжелые вычисления визуального reasoning (понимания сцены) запускаются только тогда, когда возникает неоднозначность или отклонение от плана. Это позволяет экономить ресурсы и сохранять приватность.
Технические характеристики и метрики
Система развернута на одноплатном компьютере NVIDIA Jetson AGX Orin. Исследование оценивало систему по четырем направлениям: точность восприятия, логическое рассуждение, выполнение задачи и пользовательский опыт. Результаты показывают высокую эффективность даже на ограниченном edge-железе:
| Метрика | Значение / Характеристика |
|---|---|
| Платформа | NVIDIA Jetson AGX Orin (полностью on-device) |
| Время ответа на текстовый запрос | ~2 секунды |
| Время ответа на визуальный запрос | ~8 секунд |
| Механизм взаимодействия | Human-in-the-Loop (подтверждение действий пользователем) |
| Участники пользовательского теста | 10 человек (задачи по сборке) |
Почему это важно
ProcAgent доказывает, что адаптивная процедурная помощь возможна без облачной инфраструктуры. Для пользователей это означает полную конфиденциальность (видеопоток не покидает устройство) и стабильную работу при отсутствии интернета. Для индустрии IoT и умного дома это шаг к созданию «умных» помощников, которые могут безопасно интегрироваться в домашнюю среду, не требуя постоянной связи с серверами.
Источник: arXiv cs.AI ↗