Суть прорыва: обратный поиск вместо прямого прогнозирования
Исследователи представили метод Rollback, который кардинально меняет подход к использованию world model (моделей мира) в робототехнике. В отличие от традиционных методов, которые только проигрывают сценарии вперед, Rollback способен «возвращаться» к предыдущим точкам принятия решений как в реальных, так и в симулированных попытках. Алгоритм пробует альтернативные действия, сравнивает их исходы и определяет оптимальную стратегию без необходимости предварительного обучения модели ценности (value model). Ключевым элементом является постоянное обновление world model на основе реальных данных, собранных роботом в процессе работы.
Результаты на трех физических задачах
Эксперименты проводились на двуруком роботе AGIBOT Genie-02. Метод Rollback показал значительное превышение над сильнейшими базовыми моделями (SFT, RECAP, RISE) во всех трех тестовых играх. Ниже приведены сравнительные данные успешности выполнения задач:
| Игра / Задача | Цель | SFT | RECAP | RISE w/ GE-Sim2 | Rollback (ours) |
|---|---|---|---|---|---|
| Jenga | Вытащить блок, не разрушив башню | 48.67% | 56.00% | 58.67% | 69.33% |
| Ball Tossing | Бросок мяча в ведро | 23.33% | 25.56% | 28.89% | 40.00% |
| Tabletop Curling | Игра против человека (вторым ходом) | 48.89% | 51.11% | 52.59% | 64.44% |
Превосходство над человеком
Особое внимание привлекает результат в игре Tabletop Curling, где робот выступает вторым игроком против людей. Средний показатель успеха трех человеческих игроков составил 58.39%. Робот с политикой Rollback достиг успеха в 64.44% случаев, превзойдя человеческий средний результат всего за 4 часа дообучения. В игре с броском мяча робот также превзошел человеческий средний показатель (31.48%) после 6 часов обучения, достигнув 40.00%.
Технические детали: GE-Sim 2.0 и коэволюция
В основе метода лежит world model GE-Sim 2.0, которая предсказывает три вида камер и состояния суставов робота. Метод использует Experience-backtracking search: начиная с реальных траекторий, поиск восстанавливает сохраненные состояния модели и пробует другие чанки действий (по 50 шагов контроля при 30 Гц).
Важнейшим аспектом является world model–policy co-evolution. По мере того как робот собирает новые данные, world model дообучается, что повышает точность симуляции. Сравнение «замороженной» модели и коэволюционировавшей модели показало снижение ошибки L1 для RGB-изображений с 19.52 до 12.96, а рост ошибки от начала к концу роллаута сократился в 1.38 раза (против 1.90x у замороженной модели). Это подтверждает, что актуализация модели критически важна для точного прогнозирования физических взаимодействий.
Источник: Github ↗