Проблема: почему обычные реконструкции не работают
При попытке восстановить 3D-меш из видео каждый кадр часто имеет свою топологию, пропорции и детали. Простое воспроизведение таких кадров как flipbook приводит к видимым изменениям внешности персонажа (identity changes) и сильному визуальному шуму. Традиционные методы сжатия костей или покадровой регистрации не могут гарантировать целостность поверхности, особенно в сложных зонах, таких как кисти рук или одежда.
Решение: разделение движения и поверхности
Метод VMR3D решает эту проблему, разделяя задачу на две части: грубое представление движения и детальное представление поверхности. В основе лежит использование упрощенных внутренних объемов (вокселей), которые управляют движением референсного персонажа. Это позволяет сохранить стабильность скелета, в то время как локальная подгонка поверхности корректирует форму, не искажая геометрию.
Технические детали и метрики
В демонстрационном примере использовалась последовательность из 52 поз бейсбольного удара. Исходные данные получены с помощью модели TRELLIS.2. Ключевые технические параметры системы:
- Регионализация: Внутренний объем референса разбивается на 64 региона с использованием геодезических семян и распределения Вороного.
- Влияние: Каждая вершина исходной поверхности зависит от 4-х ближайших регионов, что обеспечивает плавность трансформаций.
- Жесткие объекты: Голова и бита обрабатываются как жесткие тела, чтобы избежать деформации их узнаваемой формы.
Результаты: цифры и качество
Метод показал преимущество в виде меньшего визуального дрожания (jitter) по сравнению с покадровой регистрацией и аппроксимацией на основе костей. Для финального кадра (закрытие хвата) была применена гибридная стратегия: основная часть тела была реконструирована алгоритмически, а детали хвата и биты взяты из референсной геометрии.
| Параметр | Значение / Описание |
|---|---|
| Количество поз | 52 (бейсбольный удар) |
| Вершин тела (сохранено) | 41,058 |
| Вершин хвата и биты (добавлено) | 10,250 |
| Точное совпадение с референсом | 9,484 вершины в зоне хвата |
| Открытый хват (транспорт) | 6,697 вершин перенесены как жесткая группа |
Ограничения и текущий статус
Несмотря на успех, метод еще не достиг идеала. Финальная поверхность не является полностью «watertight» (герметичной) из-за перекрытий в области запястья. Также отмечается, что жесткий перенос открытого хвата может выглядеть неестественно. Тем не менее, VMR3D уже позволяет экспортировать анимацию в Blender, что делает технологию полезной для индустрии создания цифровых двойников и анимации.
Источник: Discosea ↗