Прорыв в представлении материалов
Команда NVIDIA Research во главе с Ким Ювангом представила NeuMatEx (Neural Materials Extraction) — метод, способный извлекать пространственно-зависимые нейроматериалы из набора многовидовых изображений. В отличие от традиционных физически обоснованных рендеринговых (PBR) моделей, NeuMatEx использует дифференцируемый обратный рендеринг для разложения сцены на лямбертовскую диффузную компоненту и «нейронные» спекулярные лобы. Это позволяет точно моделировать сложные взаимодействия света и материала, такие как туман, пыль, clearcoat (лаковое покрытие), ворс и рассеивание, которые стандартные PBR-модели часто не могут адекватно описать.
Архитектура: LMRM и обратный трассировка
Ключевой проблемой при оптимизации нейроматериалов является нелинейная структура их латентных пространств, делающая naïve-оптимизацию невозможной. Для решения этой задачи авторы обучили Large Material Reconstruction Model (LMRM). Эта нейросеть напрямую предсказывает базовый цвет, латенты нейроматериала и aleatoric uncertainty (аллеаторную неопределенность) из входных изображений. Предсказанная неопределенность служит якорем: она жестко привязывает высоконадежные области к предсказаниям LMRM, предотвращая «запекание» сложных спекулярных эффектов и освещения в базовый цвет материала. Последующая оптимизация с помощью обратного path tracing уточняет результат.
Сравнение с существующими методами
В исследовании проводится сравнение NeuMatEx с методами на базе PBR, включая монокулярные feed-forward модели Hunyuan3D-2.1 и TRELLIS.2, а также оптимизационный метод NVDiffRecMC++. Основные недостатки PBR-подходов заключаются в неспособности представлять сложные SVBSDF (Spatially Varying Bidirectional Scattering Distribution Functions) и склонности к артефактам, когда спекулярные компоненты «запекаются» в базовый цвет. NeuMatEx обеспечивает чистое разделение материалов.
| Метод | Тип | Особенности | Ограничения |
|---|---|---|---|
| NeuMatEx | Дифференциальный обратный рендеринг | Извлекает нейроматериалы, моделирует haze, clearcoat, fuzz, scatter | Требует многовидовых изображений |
| Hunyuan3D-2.1 / TRELLIS.2 | Monocular feed-forward PBR | Быстрая оценка с одного вида | Не справляется с сложными SVBSDF, запекание артефактов |
| NVDiffRecMC++ | Оптимизационный PBR | Сильная базовая оптимизация | Ограничен стандартными PBR-материалами |
Практическое применение и результаты
NeuMatEx демонстрирует высокую точность как на синтетических, так и на реальных данных. При тестировании на наборе данных DTC (состоящем преимущественно из простых материалов), метод все равно смог выделить эффекты, выходящие за рамки стандартного PBR, например, clearcoat на чайнике и утке. Метод позволяет создавать relightable (пересвечиваемые) нейроматериалы, которые можно рендерить в реальном времени с использованием path tracing, что открывает новые возможности для создания фотореалистичных 3D-ассетов и виртуальных сред.
Источник: Github ↗