Новый стандарт для динамических сцен
Исследователи из ETH Zurich и других институтов представили SplashSplat — первый открытый бенчмарк и метод реконструкции реальных сцен с брызгающейся жидкостью. В отличие от предыдущих подходов, работающих с синтетическими данными или статичными объектами, SplashSplat решает проблему сложной топологии и турбулентности жидкостей. Ключевой принцип метода: «накладывать физическую структуру только там, где наблюдения могут её ограничить».
Детали датасета и оборудования
Бенчмарк включает 20 реальных сцен (наливание жидкости в чаши и резервуары), записанных с помощью специализированной установки. Для обеспечения высокой детализации использовалась синхронизированная система из 7 камер с разрешением 4K. Все маски жидкости были вручную уточнены экспертами, что исключает шум сегментации и позволяет проводить точные сравнения алгоритмов.
Техническая реализация: от SDF к Гауссианам
Метод SplashSplat объединяет эйлерово и лагранжево описания движения. Процесс реконструкции выглядит следующим образом:
- Геометрия: Маски с каждого кадра сливаются в поверхностно-ориентированные функции (SDF), определяющие форму жидкости.
- Скорость: Перенос уровня (level-set) между последовательными SDF-кадрами генерирует грубое поле скоростей.
- Рендеринг: Лагранжевы носители (carriers) переносятся по этому потоку. Они корректируются на основе новых наблюдений (чтобы избежать дрейфа за пределы жидкости) и пересоздаются там, где покрытие теряется. Каждый носитель декодирует локальные 3D Гауссианы, которые растеризуются вместе с замороженным фоном.
Сравнение с состоянием искусства (SOTA)
Метод SplashSplat демонстрирует превосходство над такими моделями, как Deformable-3DGS, SpacetimeGaussians и 4D-Scaffold-GS. Ниже приведена сравнительная оценка по ключевым параметрам:
| Метрика / Характеристика | Deformable-3DGS | SpacetimeGaussians | 4D-Scaffold-GS | SplashSplat (Ours) |
|---|---|---|---|---|
| Тип данных | Синтетика / Реал | Синтетика / Реал | Синтетика / Реал | Реал (20 сцен) |
| Физическая правдоподобность | Средняя | Высокая | Высокая | Высокая (физически обоснована) |
| Стоимость обучения | Высокая | Высокая | Средняя | Ниже (lower training cost) |
| Новые ракурсы (Novel-view) | Базовый уровень | Хорошо | Хорошо | Лучшее качество |
| Доп. функции | — | — | — | Интерполяция и стиль без дообучения |
Практическая польза: интерполяция и стиль
Одним из главных преимуществ SplashSplat является универсальность представления. Модель позволяет выполнять временную интерполяцию (создание плавных переходов между кадрами) и стилевой перенос (style transfer) без необходимости повторной оптимизации всей сцены. Это открывает возможности для быстрого пост-продакшена в визуальных эффектах, где ранее требовалась перерасчет физики при изменении стиля жидкости (например, замена цвета или вязкости).
Значение для индустрии
Публикация SplashSplat закрывает пробел в доступных датасетах для динамического 3D-рендеринга. Наличие реальных, физически корректных данных с ручными масками позволит разработчикам игр, VFX-студиям и исследователям компьютерного зрения тестировать свои алгоритмы на «настоящих» сложных сценариях, а не только на идеализированных синтетических моделях.
Источник: Github ↗