Суть обновления: от FP32 к BF16 и ускорение инференса
Anima-Lightning — это новая версия модели, основанной на Anima TDM-Unify step-400. Ключевое изменение заключается в конвертации тензоров из формата FP32 в BF16 (bfloat16) без потери архитектуры. Это позволяет снизить требования к памяти и ускорить вычисления, сохраняя при этом ветвь условной обработки шагов (sampling-step conditioning branch).
Модель позиционируется как независимый релиз для генерации аниме-иллюстраций. Важно отметить, что она наследует ограничения базовых моделей: анатомия, сложные композиции и рендеринг текста могут быть неточными. Лицензия остается некоммерческой (CircleStone Labs).
Технические характеристики и требования
Для корректной работы требуется специфическая конфигурация окружения и использование кастомного трансформера, так как стандартный CosmosTransformer3DModel не поддерживает ветвь K=4. Ниже приведены ключевые параметры модели и окружения:
| Параметр | Значение / Описание |
|---|---|
| Базовая архитектура | NVIDIA Cosmos Predict2-2B + CircleStone Labs Anima |
| Количество параметров | 2B (миллиарда) |
| Тип тензоров | BF16 (Bfloat16) |
| Рекомендуемые шаги (steps) | 4 |
| CFG Scale | 1.0 |
| Сигмы (sigmas) | [1.0, 0.75, 0.5, 0.25] |
| Версия Diffusers | 0.39.0 |
| Версия PyTorch | 2.12.1+cu130 |
Почему это важно для разработчиков
Главная инновация Anima-Lightning — радикальное сокращение количества шагов генерации. Стандартные диффузионные модели требуют десятков или сотен итераций для достижения качества. Здесь же используется специфический scheduler shift 3, который преобразует сырые сигмы в последовательность [1, .9, .75, .5, 0], позволяя получить результат всего за 4 инференсных шага.
Это открывает возможности для быстрого прототипирования и генерации контента в реальном времени, хотя и с компромиссом в детализации. Пользователям строго запрещено использовать старые рецепты инференса (shift-1) или стандартный CFG5, так как это приведет к некорректным результатам из-за различий в квантовании BF16.
Как запустить модель
Для загрузки и использования модели необходимо использовать библиотеку diffusers с поддержкой Anima-модулей. Код инициализации требует добавления локальной директории в путь импорта для загрузки кастомного трансформера anima_lightning_transformer.
- Загрузка:
hf download aina-tech/Anima-Lightning --local-dir Anima-Lightning - Обязательная проверка Python-модуля перед импортом.
- Использование
AnimaModularPipelineс загрузкой компонентов в BF16.
Полная документация, включая валидацию экспорта тензоров в файле step400_export.json, доступна на странице модели Hugging Face.
Источник: Huggingface ↗