Решение проблемы произвольной топологии
Генерация движения для произвольных скелетов долгое время оставалась сложной задачей из-за нехватки разнообразных датасетов и нерегулярной природы данных. Команда из Тель-Авивского университета (Tel Aviv University) представила AnyTop — диффузионную модель, которая использует только скелетную структуру персонажа в качестве входных данных. В отличие от предыдущих подходов, AnyTop способна генерировать движения для существ с совершенно разной биомеханикой, используя трансформерную сеть для денойзинга, адаптированную под произвольную топологию.
Технические детали: Скелетное внимание и семантика
Ключевая инновация AnyTop заключается в интеграции информации о топологии в механизм внимания (attention). Модель обрабатывает скелет $S$, состоящий из позы покоя ($\mathcal{P}_\mathcal{S}$), связей суставов ($\mathcal{R}_\mathcal{S}$), топологических расстояний ($\mathcal{D}_\mathcal{S}$) и имен суставов ($\mathcal{N}_\mathcal{S}$).
- Enrichment Block: Встраивает скелетные признаки в зашумленное движение, добавляя эмбеддинг позы как временной токен и имена суставов через T5-эмбеддинг.
- Skeletal Temporal Transformer: Применяет «скелетное внимание» по оси суставов для учета взаимодействий между всеми частями тела, интегрируя топологические данные в карты внимания.
- Временное внимание: Обрабатывает последовательность кадров для обеспечения плавности движения.
Результаты обобщения и редактирования
AnyTop демонстрирует высокую способность к обобщению. Модель может генерировать движения для невиданных ранее скелетов (zero-shot inference) и работает даже при наличии всего трех примеров обучения на одну топологию. Латентное пространство модели позволяет решать задачи семантического соответствия суставов, временной сегментации и редактирования движений.
Ниже приведены примеры генерации анимации для различных существ, демонстрирующие адаптивность модели:
| Категория | Примеры существ | Особенности применения |
|---|---|---|
| Млекопитающие | Обезьяна, Лиса, Кошка, Комодский дракон | Перенос движений между биологически схожими, но топологически разными скелетами. |
| Рептилии и Амфибии | Скорпион, Крокодил, Ящерица | Генерация специфичных движений (ползание, удары хвостом) без предварительной настройки. |
| Птицы и Насекомые | Летучая мышь, Орел, Страус, Муравей | Адаптация к крылатым и многоногим структурам с разным количеством суставов. |
| Вымышленные/Динозавры | Дракон, Тираннозавр, Раптор | Zero-shot генерация для скелетов, отсутствующих в обучающей выборке. |
Практическое применение: Редактирование и композиция
Модель открывает новые возможности для аниматоров. AnyTop позволяет выполнять временную композицию (объединение сегментов движения, например, «курица идет» + «курица клюет») и пространственную композицию (создание новых поз путем комбинирования частей скелета). Также доступно редактирование частей тела и интерполяция кадров (in-betweening), что делает AnyTop мощным инструментом для индустрии компьютерной графики и геймдева.
Источник: Github ↗