NVlabs/Sana

Что это за инструмент

SANA — это эффективный фреймворк для генерации изображений и видео высокого разрешения на основе линейного диффузионного трансформера (Linear Diffusion Transformer).

Зачем нужен

Инструмент решает задачу быстрой и ресурсоемкой генерации контента, предлагая полные конвейеры обучения и инференса. Он полезен за счет высокой эффективности, позволяя генерировать 720p-видео и детализированные изображения на относительно скромном оборудовании (например, одной GPU RTX 3090 для 4-bit инференса).

Что можно реализовать

• Генерация статичных изображений высокого разрешения с использованием моделей SANA и SANA-1.5
• Создание и редактирование видео длительностью до 1 минуты в реальном времени через SANA-Streaming
• Разработка world models для embodied AI с контролем камеры 6-DoF через SANA-WM
• Пост-обучение (SFT/RL) моделей SANA, FLUX.1 и SD3.5-L с использованием инфраструктуры Cosmos-RL
• Интеграция генерации в существующие пайплайны через ComfyUI или SGLang

Ключевые возможности

• Архитектура Linear Diffusion Transformer, обеспечивающая высокую скорость инференса
• Поддержка генерации видео 720p и апскейла до 2K с использованием LTX-VAE
• Низкие требования к ресурсам: работа 4-bit моделей на одной GPU (Demo: 1x3090)
• Полная экосистема: от базовых моделей (SANA) до специализированных (Video, WM, Streaming, Sol-RL)
• Интеграция с популярными инструментами: HuggingFace, ComfyUI, SGLang, Cosmos-RL

👤 Кому подойдёт: разработчики, исследователи в области генеративного ИИ, инженеры по машинному обучению, интересующиеся эффективными диффузионными моделями и world models