Новый подход к апскейлингу: от интерполяции к генерации
Лаборатория Lightricks представила специализированную модель LTX-2.5-22b-IC-LoRA-Pixel-Spatial-Upscaler. В отличие от традиционных методов, которые лишь увеличивают разрешение (интерполируют пиксели), этот инструмент работает как генеративный апскейлер. Он берет низкодетализированное видео и «перерисовывает» его в высоком разрешении, добавляя правдоподобные микротекстуры, края и микроконтраст, которых не было в исходнике.
Модель основана на базе LTX-2.5-22B и использует технологию IC-LoRA (In-Context LoRA). Это означает, что наряду с текстовым промптом модель принимает на вход видео-референс. Во время обучения референсом служила уменьшенная версия целевого клипа, что позволило сети научиться маппингу низкого разрешения на высокое с синтезом деталей.
Технические характеристики и требования
Для корректной работы требуется соблюдение строгих условий по входным данным. Модель не предназначена для удаления артефактов сжатия или шумоподаления «вслепую». Она требует чистого, но низкодетализированного референса.
| Параметр | Значение / Описание |
|---|---|
| Базовая модель | LTX-2.5-22B Video |
| Тип обучения | IC-LoRA (video-to-video, reference-conditioned) |
| Коэффициент увеличения | 2x (линейное разрешение) |
| Ранг адаптера (Rank) | 32 |
| Точность весов | BF16 |
| Файл весов | ltx-2.5-22b-ic-lora-pixel-spatial-upscaler-x2-1.0.safetensors |
Рекомендуемый рабочий процесс (Workflow)
Разработчики подчеркивают, что это не инструмент для постобработки готового контента, а часть генеративного пайплайна. Оптимальная стратегия выглядит так:
- Шаг 1: Сгенерируйте черновик видео в низком разрешении (около 280p), добившись идеальной композиции и движения.
- Шаг 2: Используйте этот клип как референс для LoRA.
- Шаг 3: Запустите апскейлер для получения финального результата высокого разрешения.
Важно: референс должен иметь ту же длительность, кадр и соотношение сторон, что и целевое видео. Изменение кропа или соотношения сторон приведет к деградации результата.
Настройки и интеграция
Модель интегрируется через ComfyUI. Весам присвоен коэффициент масштабирования, поэтому рекомендуемая сила LoRA (strength) составляет 1.0. Пользователь может управлять уровнем детализации через параметры guidance и количество шагов:
- Меньше шагов / низкий guidance: Результат ближе к оригиналу, меньше «галлюцинаций».
- Больше шагов / высокий guidance: Модель активнее генерирует новые детали и текстуры.
Лицензия модели — LTX-2-community-license. Модель доступна на Hugging Face, но пока не развернута в публичных Inference Providers, требуя локального запуска или использования специализированных сервисов.
Источник: Huggingface ↗