Представьте себе сцену: вы смотрите на танцора, исполняющего сложную хореографию. Его движения плавны, координированы и полны грации. Теперь представьте, что вы хотите заставить робота-гуманоида повторить этот же танец. На первый взгляд задача кажется тривиальной: просто скопируйте углы в суставах человека в робота. Но реальность робототехники сурова. Пропорции тела человека и робота различаются, диапазоны движения суставов ограничены механическими упорами, а центр масс расположен иначе. Прямое копирование данных захвата движения (motion capture) приведет к тому, что робот либо упадет, либо сломает свои приводы, пытаясь достичь невозможных поз.
Именно здесь на сцену выходит NVIDIA SOMA Retargeter — мощный инструмент с открытым исходным кодом, который решает эту фундаментальную проблему. Он не просто копирует движения, а интеллектуально адаптирует их, учитывая анатомию конкретного робота. В этой статье мы подробно разберем, как работает этот пайплайн, какие инструменты доступны разработчикам для тонкой настройки, и как подготовленные данные используются для обучения политик управления в симуляции и на реальных устройствах.
01От человеческого движения к траекториям суставов робота
Основная идея SOMA Retargeter заключается в создании универсального моста между человеческим движением и механической структурой робота. Исходные данные движения могут поступать из самых разных источников: студийного захвата движения, реконструкции из видео или даже генеративных моделей. Однако все эти источники часто используют разные скелетные представления и форматы файлов. SOMA Retargeter стандартизирует этот процесс, используя общее представление NVIDIA SOMA-X в качестве базового языка.
Процесс ретаргетинга (переназначения движения) можно разделить на несколько ключевых этапов. Во-первых, система считывает анимацию в формате Biovision Hierarchy (BVH), где уже заложены данные на скелете SOMA. Затем происходит масштабирование: целевые точки движения человека пропорционально изменяются в соответствии с размерами целевого робота. После этого решается задача инверсной кинематики (IK), которая находит такие углы в суставах робота, которые максимально приближают его конечности к целевым позициям. На финальном этапе применяются корректировки постобработки, такие как фиксация стоп (foot-plant), чтобы избежать скольжения по полу.
Результатом этого процесса является файл в формате CSV, содержащий позицию корня робота, его ориентацию и углы во всех суставах для каждого кадра анимации. Эти траектории становятся «истинной» (ground truth) для систем управления или обучения с подкреплением, позволяя роботу воспроизводить сложные движения, которые изначально были записаны у человека.
02Источники данных: от захвата движения до генеративных моделей
Качество ретаргетинга напрямую зависит от качества исходных данных. NVIDIA SOMA Retargeter поддерживает интеграцию с широким спектром источников, что делает его гибким инструментом для различных сценариев разработки.
Данные захвата движения (Motion Capture)
Классический подход — использование данных с датчиков. Набор данных BONES-SEED предоставляет коллекцию высококачественных записей движения человека. Эти данные уже предварительно обработаны и могут быть напрямую использованы в пайплайне SOMA. Это идеальный вариант для создания эталонных библиотек движений, так как данные захвата движения отличаются высокой точностью и отсутствием шумов, характерных для видео-реконструкции.
Реконструкция из видео (Video Reconstruction)
Не всегда есть возможность использовать дорогостоящее оборудование для захвата движения. Здесь на помощь приходят модели компьютерного зрения. Инструмент GEM-X позволяет реконструировать трехмерное движение всего тела человека из обычного видео, используя модель тела SOMA. Это открывает возможности для сбора данных в естественной среде. Например, демонстрационный рабочий процесс GEM-X показывает, как запись действия с камеры может быть преобразована в ссылку на движение робота G1, минуя стадию физического захвата.

Генеративные модели (Motion Generation)
Самый современный подход — генерация движения с помощью ИИ. Модели Kimodo и ARDY позволяют разработчикам создавать движения человека на основе текстовых описаний или ограничений по позе. Kimodo поддерживает создание последовательностей движений из текстовых промптов, а ARDY добавляет интерактивное управление движением в реальном времени. Обе модели генерируют движения непосредственно на скелете SOMA, что делает их идеальными партнерами для SOMA Retargeter. Это позволяет бесконечно масштабировать библиотеку движений, создавая сценарии, которые физически невозможно было бы записать в студии.
03Адаптация движения под разные гуманоидные роботы
Одной из сильных сторон SOMA Retargeter является его универсальность. В релизе v0.2 уже включены примеры движений и конфигурации для пяти популярных гуманоидных роботов: Unitree G1, Unitree H2, Booster T1, AgiBot X2 Ultra и AgiBot A3T3.
Эти примеры демонстрируют, как углы в суставах и расположение стоп изменяются в зависимости от конкретной анатомии робота. Например, робот с более короткими ногами будет иметь другую фазу шага по сравнению с высоким роботом, даже если исходное человеческое движение одинаково. Наличие готовых конфигураций для таких популярных платформ, как Unitree и AgiBot, значительно ускоряет начало работы для разработчиков, позволяя им сосредоточиться на оптимизации, а не на базовой настройке.

Для демонстрации процесса часто используется Unitree G1. После установки SOMA Retargeter разработчик может запустить просмотрщик (viewer) с помощью команды:
uv run python app/bvh_to_csv_co
Источник: NVIDIA Developer ↗
