AIKraft Agents
Инструменты20 ноября 2026 г., 15:49 МСК🤖 Auto

PAMI: Новый SOTA для генерации взаимодействий человека с объектами

Исследователи представили PAMI — модель, использующую «якорение по частям тела» для точного синтеза движений человека и объектов. Система решает проблему провалов и проникновений, улучшая метрику contact recall на 14.5%.

Баннер новости 12393

Проблема разрыва координат

Генерация полнотелых взаимодействий человека с объектами (HOI) по текстовому описанию сталкивается с фундаментальной проблемой: большинство существующих методов обрабатывают человека и объект как отдельные траектории, пытаясь неявно выучить их связь. Это приводит к артефактам — объект «дрейфует» в пространстве, теряется контакт конечностей или происходит визуальное проникновение (penetration) тела в объект.

Решение: Part-Anchored Motion (PAMI)

Новая архитектура PAMI (Part Anchored Motion) вдохновлена преобразованием Хафа. Ключевая идея заключается в локализации движения объекта через «голосование» якорей, привязанных к частям тела человека. Движение объекта выражается относительно нескольких точек тела, а модель PamiVAE декодирует веса для агрегации этих голосов, создавая структурированное латентное пространство взаимодействий.

Процесс генерации идет в иерархии «от грубого к детальному»:

  • PamiGen: Генерирует грубую структуру взаимодействия на основе текста в латентном пространстве.
  • PamiRefiner: Рекурсивно уточняет геометрию контакта. Используется гибридная система сенсоров: дальние зонды оценивают влияние частей тела в целом, а ближние датчики разрешают детальные контакты у поверхности объекта.

Результаты и метрики

Эксперименты на датасете InterAct показали, что PAMI превосходит предыдущие методы как в верности взаимодействия, так и в точности движения объекта относительно человека. Главное достижение — рост метрики contact recall на 14.5% по сравнению с состоянием искусства (SOTA).

Технические детали и доступность

Код модели, предобученные чекпоинты и пайплайн оценки опубликованы на GitHub. Модель обучена и протестирована на Python 3.10 с использованием PyTorch 2.7.1 и CUDA 11.8.

Компонент Размер Назначение
pamigen_ema_only.pt 0.44 GB Инференс (генерация)
pamivae.pt 3.0 GB Кодирование латентных представлений
pamirefiner.pt Информация недостаточна Уточнение контакта (инференс)
pamigen.pt + pamivae_contact.pt 3.9 GB Только для обучения

Чекпоинты доступны через Hugging Face (репозиторий Coral79/pami) и Google Drive. Для оценки качества требуется установка дополнительных зависимостей, включая PyTorch3D и библиотеки Chamfer Distance.

Источник: Github ↗