Проблема дрейфа и решение через жесткие склейки
Генерация референсных листов (reference sheets) «по углам» часто приводит к дрейфу текста: арки меняют количество, у персонажа меняется воротник. Новый пакет ComfyUI-OrbitSheets решает это, используя модель MiniMax H3. Ключевая особенность — каждый угол съемки является отдельным, статичным кадром. Это гарантирует, что все ракурсы визуально согласованы, так как камера не движется, а просто «перескакивает» на новый ракурс.
Архитектура генерации: от текста до аудио
Процесс состоит из трех этапов. Сначала модель изображения (например, Krea2) создает анкерный кадр. Затем H3 генерирует последовательность из 5-6 кадров. Уникальная фишка H3 — возможность сгенерировать голосовой образец (voice sample) из тех же латентных переменных, что и изображение, без дополнительных затрат на сэмплинг.
Почему «Hard Cuts» побеждают «Continuous Move»
Тестирование показало, что непрерывные движения камеры (орбита, панорама) приводят к искажениям: камера начинает крениться (roll) или уходить в нежелательные ракурсы. Жесткие склейки (hard cuts) между статичными кадрами заставляют модель заново «привязывать» субъект к сцене на каждом ракурсе, исключая структурные ошибки движения.
| Тип движения | Результат | Рекомендация |
|---|---|---|
| Continuous Move (Орбита) | Крен камеры, спираль, потеря уровня горизонта | Избегать для референсов |
| Hard Cuts (Склейки) | Стабильные, независимые ракурсы | Стандарт (coverage=cut views) |
| Interior Pan (Панорама) | Искажение перспективы, наклон | Только для специфических задач |
Технические ограничения и настройки
Модель H3 имеет строгие ограничения на скорость вращения. Полная орбита (360°) за 124 кадра требует скорости 72°/с, что вызывает крен. Максимально допустимая скорость для стабильного уровня — 40°/с. Для полной круговой съемки требуется увеличить количество кадров до 220+ (время ~9 секунд).
- framing: Настройка отступа для широких персонажей (крылья, хвосты). По умолчанию используется «generous margin».
- coverage: Режим «cut views» по умолчанию. Режим «continuous move» доступен, но рискован.
- Attention Backend: Оптимизация внимания критична для стоимости генерации видео.
Итог
ComfyUI-OrbitSheets предлагает надежный пайплайн для создания профессиональных арт-листов. Отказ от попыток симулировать плавное движение камеры в пользу серии статичных, идеально выверенных кадров дает предсказуемый результат, который легко верифицировать визуально.
Источник: Github ↗