0.2.0minor
Добавлена экспериментальная поддержка Image-to-3D на базе модели zero123.
- Added: Появилась экспериментальная функция преобразования изображений в 3D-модели.
- Added: В качестве бэкенда для генерации 3D используется модель zero123.
ashawkey/stable-dreamfusion
Генерация 3D из текста и изображений, экспорт мешей с использованием NeRF и Diffusion.
Vision⭐ 8 859Pythonпоследний релиз: 0.2.0
Что это за инструмент
PyTorch-реализация модели Dreamfusion для генерации 3D-объектов по текстовому или изображенческому описанию, использующая Stable Diffusion и NeRF.
Зачем нужен
Инструмент решает задачу Text-to-3D и Image-to-3D, позволяя создавать 3D-мешы на основе диффузионных моделей. Он полезен для быстрого прототипирования 3D-контента, хотя качество генерации пока уступает оригинальной статье из-за использования Stable Diffusion вместо Imagen.
Что можно реализовать
- Генерация 3D-объектов по текстовым промптам (Text-to-3D)
- Создание 3D-моделей на основе входных изображений (Image-to-3D)
- Экспорт сгенерированных мешей (Mesh Exportation) для дальнейшего использования
- Исследование методов улучшения качества генерации, таких как Perp-Neg
Ключевые возможности
- Использование Stable Diffusion и DeepFloyd-IF в качестве бэкенда диффузии
- Поддержка Perp-Neg для устранения проблемы множественных голов (multi-head problem)
- Быстрый рендеринг (~10 FPS) благодаря Instant-NGP бэкенду (multi-resolution grid encoder)
- Наличие Colab-ноутбуков для быстрого запуска без локальной установки
- Поддержка оптимизатора Adan по умолчанию
👤 Кому подойдёт: Исследователи в области 3D-генерации, разработчики, работающие с PyTorch и NeRF, энтузиасты AI-арта, готовые экспериментировать с качеством генерации.