Революция в скорости: от минут к секундам
Новая архитектура PixWorld решает главную проблему генеративного 3D-дизайна — вычислительную сложность. В отличие от традиционных диффузионных моделей, требующих сотен шагов денoising, PixWorld использует 4-шаговую дистилляцию. Это позволяет генерировать сцены в разрешении 480P всего за ~0.6 секунды. Для сравнения: предыдущие лидеры генерации, такие как FantasyWorld, тратили на один объект более 11 минут.
Техническая суть: Pixel Space
Ключевое отличие PixWorld заключается в работе непосредственно с пиксельным пространством, что устраняет необходимость в промежуточных представлениях (например, нейронных полях или плотных вокселях) на этапе генерации. Модель поддерживает два режима входа:
- Image-to-3D: Создание 3D-объектов по одному изображению (например, «Замок на вершине» или «Современный офис»).
- Text-to-3D: Генерация сцен по текстовому описанию (например, «Горное озеро в тумане» или «Уютная гостиная»).
Сравнение производительности
Ниже приведена таблица сравнения времени инференса (wall-clock seconds per scene) для различных методов. Обратите внимание на логарифмическую шкалу времени: PixWorld демонстрирует беспрецедентную скорость.
| Метод | Время на сцену (сек) | Примечание |
|---|---|---|
| PixWorld (Ours) | 0.636 | С дистилляцией, 4 шага |
| FlashWorld | 3.21 | Быстрый базовый метод |
| PixWorld (Before Distillation) | 7.74 | Без оптимизации скорости |
| Gen3R | 94 | Видео-генерация |
| Gen3C | 283 | Видео-генерация |
| FantasyWorld | 662 | Тяжелый диффузионный генератор |
Качество реконструкции и метрики
Высокая скорость не достигнута ценой качества. PixWorld демонстрирует сильные результаты на бенчмарке RealEstate10K для 4-видовой реконструкции:
- PSNR: 26.21 dB
- WorldScore: 71.04 (средний балл оценки качества мира)
Модель успешно генерирует как интерьеры (кухни, спальни, коридоры), так и экстерьеры (горные пейзажи, городские виды), а также стилизованные сцены (киберпанк-пустыни, воксельные деревни). Визуализация глубины (RGB-D) подтверждает высокую геометрическую согласованность сгенерированных объектов.
Значение для индустрии
Ускорение в ~1000 раз по сравнению с FantasyWorld открывает путь к реальному времени (real-time) в 3D-генерации. Это критически важно для геймдева, VR/AR-приложений и интерактивного дизайна, где задержка в несколько секунд недопустима. Исследование опубликовано Sensen Gao и соавторами в arXiv (2026).
Источник: Github ↗