Проблема стандартного подхода
Современные Vision-Language-Action (VLA) модели демонстрируют высокие результаты в задачах манипуляции, но их пост-обучение (post-training) традиционно опирается на супервизорное имитационное обучение на уровне траекторий. Это означает, что модель просто копирует действия эксперта шаг за шагом. Главная проблема такого подхода: если робот отклоняется от демонстрации, у него нет механизма для возврата к «правильному» состоянию задачи, так как обучение не учитывает семантические ключевые состояния, а лишь воспроизводит путь.
Решение: OGPO
Команда авторов (Xule Gao, Xi Wang и др.) предложила фреймворк OGPO (Offline Goal-conditioned Policy Optimization). Ключевое отличие заключается в смене парадигмы: вместо слепого копирования действий, OGPO адаптирует траектории, переобозначая их через семантические ключевые состояния. Модель обучается достигать этих промежуточных целей, что формирует способность к восстановлению (recoverability) при отклонениях от демонстрации.
Ключевые метрики и результаты
Эксперименты проводились на стандартных бенчмарках LIBERO и MetaWorld, а также на новых наборах данных, предложенных авторами. Метод демонстрирует стабильное улучшение по сравнению со стандартным Supervised Fine-Tuning (SFT). Ниже приведено сравнение эффективности подходов:
| Метрика / Бенчмарк | Стандартный SFT | OGPO (предложенный метод) | Значение для индустрии |
|---|---|---|---|
| LIBERO (Базовый) | Базовый уровень | Постоянное улучшение | Повышение общей успешности задач |
| MetaWorld | Базовый уровень | Постоянное улучшение | Улучшение в сложных манипуляциях |
| LIBERO-Plus | Низкая устойчивость | Высокая устойчивость | Работа при сдвигах распределения данных |
| LIBERO-ReAct (Новый) | Слабое восстановление | Сильное восстановление | Коррекция действий после сбоев в середине выполнения |
Почему это важно
OGPO решает критическую проблему безопасности и надежности роботов. Возможность восстановления к целевому состоянию из допустимых офф-демонстрационных состояний без необходимости онлайн-взаимодействия (online interaction) значительно снижает стоимость обучения и риски повреждения оборудования. Это шаг от простого копирования движений к пониманию логики задачи.
Статус публикации
Работа принята к публикации на конференции NeurIPS 2026, что подтверждает высокую значимость метода для сообщества искусственного интеллекта и робототехники.
Источник: arXiv cs.AI ↗