Прорыв в скорости и контроле
Команда NVIDIA совместно с исследователями из ETH Zürich представила ARDY (Autoregressive Diffusion with Hybrid Representation) — новую архитектуру для генерации 3D-движений человека. В отличие от предыдущих решений, таких как Kimodo, которые работают офлайн, или существующих онлайн-методов, жертвующих качеством ради скорости, ARDY обеспечивает реактивность менее 16 мс. Это позволяет использовать модель в интерактивных приложениях, играх и управлении роботами в реальном времени.
Гибридная архитектура и двухэтапный денуайзер
Ключевая инновация ARDY — гибридное представление движения. Модель разделяет задачу на две части:
- Явные корни (Root): Точное управление траекторией тела в пространстве.
- Латентное тело (Body): Компактное эмбеддинг-представление для эффективного обучения и генерации позы.
Используется авторегрессионный трансформер-денуайзер с двумя этапами. Сначала предсказываются глобальные корни, которые затемCondition (условливают) генерацию латентных токенов тела. Это позволяет модели учитывать долгосрочные кинематические ограничения (waypoints, ключевые кадры), даже если они находятся далеко в будущем относительно текущего окна генерации.
Возможности управления
ARDY поддерживает несколько режимов интерактивного контроля, что делает её универсальным инструментом для анимации и робототехники:
- Текстовые промпты в реальном времени: Пользователь может менять описание действия на лету (например, «хромает», «танцует победу»).
- Кинематические ограничения: Задание траектории корня, точек пути (waypoints), полных ключевых кадров или позиций конечностей.
- Долгосрочное планирование: Модель способна планировать движения на минуты вперед, соблюдая заданные цели.
Практическое применение: от игр до Unitree G1
Демонстрации показывают, что ARDY успешно интегрируется с физическими политиками, такими как SONIC. В результате система позволяет управлять реальным гуманоидным роботом Unitree G1 через интерактивные интерфейсы (мышь, клавиатура) с генерацией движений в реальном времени. Это открывает путь к созданию адаптивных роботов, способных реагировать на изменения среды без предварительного офлайн-рендеринга.
Сравнение с предыдущими подходами
| Характеристика | ARDY (NVIDIA/ETH) | Kimodo (NVIDIA) | Стандартные онлайн-методы |
|---|---|---|---|
| Режим работы | Онлайн (Streaming) | Офлайн (Offline) | Онлайн (Streaming) |
| Задержка (Latency) | < 16 мс | Высокая (не для real-time) | Низкая |
| Контроль через текст | Интерактивный, динамический | Высокая точность, но без стриминга | Часто ограничен контекстом |
| Долгосрочные цели | Поддержка (Long-horizon) | Да | Слабая поддержка |
Работа опубликована в ACM Transactions on Graphics (SIGGRAPH 2026). Код и модели доступны в открытом доступе на сайте NVIDIA Research.
Источник: Nvidia ↗