AIKraft/AI/Поиск…⌘KВойти
Релиз модели4 октября 2026 г., 19:48 МСК🤖 Auto

Giro: Авто-генерация 3D-сплэтов из фото через VR-орбиту

Проект Giro автоматизирует создание 3D-сплэтов из одного изображения, используя видео-модели для генерации орбиты и строгие алгоритмы валидации для очистки результата.

AIРедакция AIKraftавто-обзор источников
2 мин чтения·источник: Github
Поделиться
Баннер новости 8910

Проблема: Галлюцинации видео-моделей

Современные видео-модели способны генерировать 360° видео вокруг объекта по одной фотографии, но результат часто содержит артефакты: объект вращается как на витрине, камера «скачет» или морфирует. Ручная обработка таких видео (COLMAP, тренировка сплэтов, удаление фона) занимает много времени. Giro решает эту проблему, внедряя автоматическую проверку качества сгенерированной орбиты.

Решение: Система «Gate» и автоматическая реролл-стратегия

Ядро Giro — это модуль gate, который анализирует восстановленную камеру. Сгенерированное видео считается годным только при соблюдении строгих метрик:

  • Диапазон обзора не менее 330°.
  • Отсутствие скачков камеры более 30° между кадрами.
  • Замкнутый контур и плавное движение.

Если видео не проходит проверку, система автоматически генерирует новый вариант (reroll). Для исправления ошибок используется pose fallback (Depth Anything 3 + COLMAP) и gap fill (восстановление пропущенных дуг за ~40 секунд вместо 7 минут на полный реролл).

Технические детали и метрики

Проект использует связку ComfyUI (MiniMax H3), Brush для тренировки сплэтов и SAM для маскировки. Результат — это обрезанный (cropped) 3D-сплэт, готовый для просмотра в VR (Quest 3). Ниже приведены ключевые находки из лабораторных заметок автора:

Компонент/Метрика Результат / Наблюдение
Точность Gate 100% совпадение с визуальной проверкой (20/20 видео)
Gap Fill (восстановление дуги) ~40 секунд на попытку, успех 3/3
Падение качества (Feedforward poses) На 2–4 dB хуже COLMAP, но годно как стартовая точка
Производительность Quest 3 Зависание при 245K сплэтов (ожидалось 400–600K)
Лицензии ключевых моделей MiniMax H3 (Community), Brush (Apache-2.0), Giro (MIT)

Требования к железу и запуск

Giro — это экспериментальный прототип, требующий мощного локального оборудования. Для работы необходимо:

  • GPU: Две видеокарты NVIDIA с 24 GB VRAM каждая (пиковое потребление видео-модели ~22 GB).
  • OS: Linux.
  • Софт: Python 3.12, Node.js, Rust, FFmpeg, COLMAP 4.x (CUDA).

Запуск осуществляется через команду uv run giro serve, после чего интерфейс доступен на http://:8470. Проект не имеет аутентификации, поэтому рекомендуется запускать его только в локальной сети.

Ограничения

Система не видит «недоступные» части объекта (верх головы, низ), которые генерируются алгоритмически и могут выглядеть размыто. Также метрики PSNR измеряют согласованность с видео, а не с реальностью, так как тестовые изображения были сгенерированы ИИ (Z-Image Turbo, Qwen).

Источник: Github ↗