Проблема разрыва координат
Генерация полнотелых взаимодействий человека с объектами (HOI) по текстовому описанию сталкивается с фундаментальной проблемой: большинство существующих методов обрабатывают человека и объект как отдельные траектории, пытаясь неявно выучить их связь. Это приводит к артефактам — объект «дрейфует» в пространстве, теряется контакт конечностей или происходит визуальное проникновение (penetration) тела в объект.
Решение: Part-Anchored Motion (PAMI)
Новая архитектура PAMI (Part Anchored Motion) вдохновлена преобразованием Хафа. Ключевая идея заключается в локализации движения объекта через «голосование» якорей, привязанных к частям тела человека. Движение объекта выражается относительно нескольких точек тела, а модель PamiVAE декодирует веса для агрегации этих голосов, создавая структурированное латентное пространство взаимодействий.
Процесс генерации идет в иерархии «от грубого к детальному»:
- PamiGen: Генерирует грубую структуру взаимодействия на основе текста в латентном пространстве.
- PamiRefiner: Рекурсивно уточняет геометрию контакта. Используется гибридная система сенсоров: дальние зонды оценивают влияние частей тела в целом, а ближние датчики разрешают детальные контакты у поверхности объекта.
Результаты и метрики
Эксперименты на датасете InterAct показали, что PAMI превосходит предыдущие методы как в верности взаимодействия, так и в точности движения объекта относительно человека. Главное достижение — рост метрики contact recall на 14.5% по сравнению с состоянием искусства (SOTA).
Технические детали и доступность
Код модели, предобученные чекпоинты и пайплайн оценки опубликованы на GitHub. Модель обучена и протестирована на Python 3.10 с использованием PyTorch 2.7.1 и CUDA 11.8.
| Компонент | Размер | Назначение |
|---|---|---|
| pamigen_ema_only.pt | 0.44 GB | Инференс (генерация) |
| pamivae.pt | 3.0 GB | Кодирование латентных представлений |
| pamirefiner.pt | Информация недостаточна | Уточнение контакта (инференс) |
| pamigen.pt + pamivae_contact.pt | 3.9 GB | Только для обучения |
Чекпоинты доступны через Hugging Face (репозиторий Coral79/pami) и Google Drive. Для оценки качества требуется установка дополнительных зависимостей, включая PyTorch3D и библиотеки Chamfer Distance.
Источник: Github ↗
