Локальная мощь: NPU против GPU/CPU
FaceFusion Mobile — это порт десктопного решения Henry Ruhs, адаптированный для работы исключительно на устройстве. Приложение использует Qualcomm Hexagon NPU для максимальной скорости, автоматически переключаясь на GPU (Vulkan) и CPU на устройствах без поддержки NPU. Ключевое преимущество — полная конфиденциальность: никаких аккаунтов, аналитики или загрузки медиафайлов на внешние серверы.
Производительность и метрики
На флагманском чипе Snapdragon 8 Elite (тестировалось на Galaxy S25 Ultra) обработка видео 720p происходит практически в реальном времени. Использование режима Fast video (трекинг лица между кадрами) ускоряет процесс еще на 15%. Ниже приведено сравнение производительности путей обработки:
| Параметр | Hexagon NPU (Snapdragon 8 Elite) | GPU (Vulkan) + CPU |
|---|---|---|
| Время на кадр (720p) | 44 мс (38 мс с Fast video) | 325 мс |
| Загрузка модели (первый запуск) | 0.5 с | 15 с |
| Качество результата | 42.7 dB PSNR | Идентичное NPU |
Функционал: Live, Lip Sync и Пакетная обработка
Приложение поддерживает не только замену лиц на статичных фото и видео, но и сложные сценарии:
- Live-режим: Замена лица в реальном времени через фронтальную или заднюю камеру с возможностью записи MP4 (с опциональным захватом звука с микрофона).
- Назначение лиц: При наличии нескольких источников можно привязать конкретное лицо к конкретному человеку в кадре.
- Lip Sync (Синхронизация губ): Модель edtalk_256 (60 МБ) перерисовывает рот, синхронизируя его с аудио. Скорость обработки — 1-2 мс на кадр на NPU. Важно: модель работает с чистым голосом, не отделяя его от фоновой музыки.
- Batch-режим: Очередная обработка нескольких клипов с одним источником лица.
Технические требования и установка
Приложение требует Android 12 (API 31) 64-bit ARM. Размер APK составляет около 66 МБ, но после установки необходимо скачать модели (~420 МБ) с Hugging Face. Поддерживаются поколения NPU Hexagon v68–v81, что покрывает чипы от Snapdragon 888 до Snapdragon 8 Elite Gen 5.
Безопасность и лицензирование
Встроенный контент-чекер блокирует обработку запрещенных материалов на всех этапах (источник, цель, превью, запись). Лицензия базового движка — OpenRAIL-AS с ограничениями на использование. Модели имеют разные лицензии: yoloface_8n (GPL-3.0), arcface и inswapper (Non-Commercial), hyperswap (ResearchRAIL). Использование на людях без их согласия запрещено.
Источник: Github ↗