Автоматизация 3D-пайплайна на базе Pixal3D
Пакет ComfyUI-WorldSculpt расширяет нативные узлы Pixal3D/TRELLIS.2, добавляя логику для работы с мульти-видовыми сценами. Главная инновация — возможность обрабатывать «сырое» видео без предварительной разметки. Система использует Depth Anything 3 (DA3) для оценки глубины и камер, а также SAM3 для трекинга объектов, что позволяет автоматически выделять инстансы (объекты) и реконструировать их геометрию.
Пакет не требует новых Python-зависимостей: все компоненты (DINOv3+NAF, VAE, постобработка) интегрированы через существующие узлы comfy_extras/nodes_trellis2.py.
Ключевые узлы и архитектура
Решение внедряет специализированные узлы для загрузки сцены, агрегации мульти-видовых признаков и условной генерации структуры. Ключевые узлы включают:
- WorldSculpt Load Scene: Читает метаданные сцены (transforms.json, маски).
- WorldSculpt Instance Views: Вырезает объекты из кадров с учетом реальных интринсиков камеры.
- WorldSculpt Aggregator Loader: Загружает обученный агрегатор признаков IBR (Illumination-Braking Representation).
- WorldSculpt Structure/Shape/Texture Stage: Заменяют стандартные этапы Pixal3D, применяя LoRA-модели для улучшения качества структуры и формы.
Производительность и метрики
Тестирование проводилось на видеокарте NVIDIA RTX 5090. Результаты демонстрируют высокую эффективность при работе с большими сценами:
| Сцена / Тест | Параметры | Время выполнения | Результат |
|---|---|---|---|
| Marble Demo (13 объектов) | 12 видов на объект | 6.5 минут | Полная реконструкция и размещение в метрическом пространстве |
| UE-MeshyScene (93 объекта) | 8 видов, 265 кадров (2560x1440) | 46 минут | Единый GLB файл, 18.8 млн полигонов |
| Потребление RAM (93 объекта) | Пик нагрузки | — | 56 GB (на этапе RemeshMesh) |
Работа с «сырым» видео и ограничения
В режиме worldsculpt_video.json система обрабатывает видео напрямую. Пользователь задает текстовые промпты для SAM3 (например, «sofa», «table»), и алгоритм фильтрует шум, отбрасывая объекты с низкой уверенностью или пересекающиеся маски.
Известные проблемы (Failure modes):
- Стены могут ошибочно классифицироваться как мебель (например, панель как «шкаф»).
- Темные или частично видимые объекты могут реконструироваться как «блобы» (неопределенные массы).
- Масштаб сцены зависит от калибровки Depth Anything 3 и может требовать ручной коррекции.
Установка моделей
Для работы требуется скачать веса от AlayaLab и нативные модели Pixal3D. Основные файлы LoRA и агрегаторов:
worldsculpt_ss_lora.pt(для структуры)worldsculpt_shape_lora.pt(для формы)pixal3d_bf16.safetensors(базовая диффузионная модель, bf16)
Рекомендуется использовать instance_index = -1 для автоматического сбора всех объектов в один GLB-файл сцены.
Источник: Github ↗