Что такое FAH и почему это прорыв
Команда Jinkuncao представила FAH (Fast and Accurate Hand Estimation) — архитектуру, способную обрабатывать видеопоток в реальном времени, выдавая пять ключевых выходов: 2D-ключевые точки, плотные поверхностные точки, fitted-меш MANO, сегментацию частей руки и карту вероятностей контакта. В отличие от предыдущих решений, FAH использует причинно-следственную видео-модель для рефайнмента суставов на основе только прошлых кадров, что исключает утечку данных из будущего и обеспечивает стабильность трекинга.
Технические детали и архитектура
Система работает в два этапа. Сначала детектор находит коробку руки, определяет принадлежность (левая/правая) и создает маску. Затем ViT-энкодер обрабатывает кроп, а специализированные головы (heads) предсказывают:
- Heatmap head: 2D-суставы и плотные поверхностные точки с root-relative 3D-глубиной.
- Part head: Пиксельная классификация частей руки внутри маски детектора.
- Contact head: Вероятность контакта для каждой вершины меша MANO (шкала 0–1).
Для финальной оптимизации используются модели MHR-Hand и MANO. Видео-модель сглаживает траектории, а камера-модель проецирует руки в мировое пространство.
Сравнение с конкурентами: FAH-L против WiLoR и HaWoR
Бенчмарки проводились на наборах данных HOT3D, DexYCB и EgoStandard. Ключевое преимущество FAH-L (версия с видео-рефинментом) — в точности определения контакта. В то время как HACO часто дает ложные срабатывания (флаг контакта постоянно), FAH-L корректно идентифицирует 69–95% удержаний объектов и лишь 8–10% жестов, минимизируя шум.
| Метрика / Модель | FAH-L (Video) | WiLoR | HaWoR |
|---|---|---|---|
| Производительность (RTX 4070 Ti SUPER) | Высокая (видео-пресет) | Сравнимо | Сравнимо |
| Точность контактов (HOT3D) | 69–95% recall, низкий false-positive rate | Информация недостаточна | Информация недостаточна |
| Стабильность трекинга | Меньше переключений флага контакта | Более шумный сигнал | Более шумный сигнал |
| Работа с перекрывающимися руками | Успешно | Частые ошибки | Частые ошибки |
Практическое применение: от симуляции до реального мира
FAH демонстрирует выдающиеся результаты на эгоцентричных видео (HoloLens 2, DSLR) и в сценариях «в дикой природе» (knitting, crochet, работа с инструментами). Особый интерес представляет интеграция с физическими движками. В эксперименте с MuJoCo, где 3D-объекты из SAM 3D Objects и руки из FAH-L воспроизводились в симуляции, система успешно справилась с 7 из 54 клипов (с использованием контроллера в пространстве суставов) и 5 клипов (с Cartesian-контроллером). Это открывает путь к созданию роботов, способных понимать тактильный контакт и манипулировать объектами на основе видеоданных.
Ограничения и перспективы
Система пока имеет ограничения: возможны ложные срабатывания на самоконтакте (рука-лицо, рука-рука), а эгоцентричные клипы сложнее для симуляции (0% успеха в базовом тесте). Однако точность на бенчмарках HOT3D v1 и EgoStandard остается на передовом уровне, делая FAH мощным инструментом для компьютерного зрения, робототехники и AR/VR.
Источник: Jinkuncao ↗