Проблема тактильного восприятия в VLA
Тактильное sensing (осязание) критически важно для Vision-Language-Action (VLA) моделей, так как оно обеспечивает безопасное и ловкое управление объектами в задачах с множественными контактами. Однако зависимость от специализированного тактильного оборудования значительно увеличивает стоимость роботов и снижает воспроизводимость результатов на разных платформах. Авторы работы, включая Константина Губенаторова и Дмитрия Цетсерукова, предлагают решение, которое позволяет обучать робота «чувствовать» офлайн, исключая необходимость в тактильных датчиках во время инференса.
Архитектура HapticVLA: два этапа обучения
Методология HapticVLA состоит из двух тесно связанных этапов, которые позволяют перенести тактильные знания в стандартную VLA-модель:
- Safety-Aware Reward-Weighted Flow Matching (SA-RWFM): На этом этапе обучается эксперт действий на основе flow-matching. Он использует заранее вычисленные тактильные награды, которые штрафуют за чрезмерное усилие сжатия и неоптимальные траектории захвата, обеспечивая безопасность манипуляций.
- Tactile Distillation (TD): Этот этап отвечает за дистилляцию знаний. Компактный «тактильный токен», полученный от учителя SA-RWFM, передается студенту (стандартной VLA). Студенческая модель учится предсказывать этот токен, опираясь только на визуальные данные и состояние системы, что позволяет генерировать действия с учетом тактильной осведомленности без прямого получения тактильной обратной связи.
Результаты и сравнение с базовыми моделями
Эксперименты в реальных условиях показали высокую эффективность предложенного подхода. HapticVLA демонстрирует стабильно высокие результаты, превосходя базовые версии VLA, включая те, которые были оснащены прямым тактильным feedback во время инференса. Это доказывает, что визуальная информация может быть достаточной для имитации тактильного восприятия при правильной архитектуре обучения.
| Метрика / Характеристика | HapticVLA | Базовые VLA (с тактильным feedback) | Базовые VLA (без тактильного feedback) |
|---|---|---|---|
| Средний процент успеха (Real-world) | 86.7% | Ниже 86.7% | Значительно ниже |
| Необходимость тактильных датчиков | Нет (во время инференса) | Да | Нет |
| Стоимость оборудования | Ниже (только камеры/состояние) | Выше (тактильные сенсоры) | Ниже |
Значение для индустрии
Успешная реализация HapticVLA открывает путь к созданию более доступных и универсальных роботизированных систем. Устранение необходимости в дорогостоящих тактильных сенсорах упрощает интеграцию VLA-моделей в массовое производство, сохраняя при этом способность роботов выполнять деликатные и сложные манипуляции, требующие тонкого контроля контакта с объектами.
Источник: Arxiv ↗