Прорыв в пространственном понимании
Лаборатория Tencent представила Hy-Nomas, новую архитектуру для генерации видео, которая решает одну из главных проблем современных ИИ-моделей — отсутствие понимания трехмерного мира. В отличие от предыдущих генераторов, которые часто «путают» объекты при движении камеры, Hy-Nomas интегрирует 3D-сознание (3D-awareness) непосредственно в процесс обучения.
Это позволяет модели не просто генерировать пиксели, а понимать геометрию сцены, перспективу и физические законы движения. Результат — видео, где объекты сохраняют свою форму и положение в пространстве даже при сложных ракурсах.
Ключевые характеристики и метрики
Модель демонстрирует высокую стабильность генерации и кинематографичное качество. Основные технические особенности включают:
- Архитектура: Гибридная нейросеть, объединяющая трансформеры для временной согласованности и диффузионные модели для детализации.
- Входные данные: Текстовые промпты и референсные изображения, позволяющие контролировать композицию кадра.
- Режимы генерации: Поддержка стандартных видов, а также специализированных сценариев, таких как съемка от первого лица (First-person) и динамичные движения камеры.
Практическое применение
Hy-Nomas позиционируется как инструмент для создания контента, требующего высокой точности в передаче пространства. Это открывает возможности для:
- Индустрии развлечений: Быстрое создание раскадровок и превизов для фильмов и игр.
- Виртуальной реальности: Генерация иммерсивных сред, где пользователь может свободно перемещаться без артефактов.
- Образования и симуляций: Моделирование сложных физических процессов с корректной визуализацией.
Что дальше?
На данный момент Tencent не раскрывает коммерческие тарифы и точные даты публичного запуска. Однако компания подчеркивает, что Hy-Nomas является частью их стратегии по развитию «доверенного ИИ» и повышению качества генеративного контента. Исследователи ожидают, что внедрение 3D-понимания станет новым стандартом для следующего поколения видео-генераторов, вытесняя модели, работающие только с 2D-пространством.
Источник: Tencent ↗