Решение проблемы OOM при апскейле видео
Разработчик hashu786 представил узел Tessera для ComfyUI, который решает критическую проблему нехватки видеопамяти (OOM) при повышении разрешения видео. В отличие от традиционных методов, Tessera использует потоковое кодирование и декодирование VAE (Streamed VAE encode/decode). Это означает, что полное изображение в пиксельном представлении никогда не загружается в память целиком. Вместо этого обработка идет тайлами и чанками, что позволяет работать с клипами любой длины на одной потребительской GPU.
Архитектура и ключевые модели
В основе решения лежит модель MiniMax H3 (ref2va), дополненная специализированными компонентами. Система использует локальные веса с открытым исходным кодом, что обеспечивает прозрачность и безопасность использования. Ниже приведена структура используемых моделей:
| Компонент | Роль в пайплайне | Примечание |
|---|---|---|
| MiniMax H3 ref2va | Базовая видео-модель | Включает видео/аудио VAE и текстовый энкодер Qwen3-VL |
| LMS detail LoRA | Улучшение детализации | От Alissonerdx, часть «домашнего рецепта» для резкости |
| Qwen Image 2.1 | Якорь первого кадра (опц.) | Фиксирует детали на стартовом кадре |
| SAM3 | Маскирование (опц.) | Выделение главного объекта (hero-subject mask) |
Технические особенности и оптимизация
Tessera внедряет несколько инженерных решений для повышения стабильности и качества:
- Flat Skip (flat_skip): По умолчанию 4.0. Система пропускает обработку однородных областей (небо, дым, фон), где модель склонна к галлюцинациям. Это экономит вычислительные шаги и сохраняет исходное качество фона.
- First-frame anchor: Позволяет подать детальное изображение первого кадра в 2x разрешении для передачи деталей. При апскейле 4x и выше рекомендуется отключать якорь, позволяя модели генерировать контент самостоятельно.
- Composite режимы: Пользователь может выбрать между pixel (перекрестное сглаживание в пиксельном пространстве, +0.9% детализации) и latent (вставка в латентном пространстве, +1.7% временной стабильности, быстрее на 7-10%). Для длинных клипов всегда используется режим latent.
Установка и совместимость
Установка не требует дополнительных зависимостей. Узел регистрируется как 9 новых нод в интерфейсе ComfyUI. Поддерживается масштабирование тайлов в зависимости от объема VRAM (high_vram/low_vram) и временное изменение частоты кадров (temporal dilate/decimate) для синхронизации скорости действия.
Проект распространяется под лицензией MIT. Полный список инженерных заметок и обоснование выбранных параметров доступен в файле docs/LAWS.md в репозитории.
Источник: Github ↗
