Проблема традиционных VLN-систем
Традиционные модели Vision-Language Navigation (VLN) часто опираются на навигационные графы, 360-градусные обзоры и идеальную локализацию. Эти требования создают серьезные барьеры при переносе алгоритмов из симуляции в реальный мир. Новая работа, представленная на arXiv 5 октября 2026 года, предлагает решение, работающее в непрерывных средах без необходимости предварительного построения графов или использования панорамных камер.
Архитектура и аппаратная платформа
Команда исследователей под руководством Чалинду Абеявансы разработала систему на базе архитектуры с кросс-модальным вниманием (Cross-Modal Attention, CMA). Модель выравнивает визуальные входные данные и языковые инструкции в общем пространстве эмбеддингов. Ключевое отличие — использование мобильного робота с Ackermann-рулением (как у автомобилей), а не стандартных дифференциальных платформ. Аппаратный комплекс включает камеру и датчик LiDAR, при этом вычисления выполняются автономно на выделенном оборудовании.
Методология Sim-to-Real
Для преодоления разрыва между симуляцией и реальностью (domain shift) авторы применили два основных метода:
- Линейные фотометрические корректировки: для адаптации визуальных данных.
- Дообучение (fine-tuning): на ограниченном наборе эпизодов, собранных в реальных условиях.
Такой подход позволил избежать необходимости сбора огромных объемов размеченных данных в реальном мире.
Результаты и метрики
Эффективность подхода оценена с помощью метрик Success weighted by Path Length (SPL) и Normalized Dynamic Time Warping (nDTW). Результаты демонстрируют, что модель сохраняет робастность и способность к навигации после переноса, несмотря на отсутствие идеальной локализации и панорамного зрения.
| Параметр | Значение / Описание |
|---|---|
| Тип руления | Ackermann (автомобильный тип) |
| Датчики | Камера, LiDAR |
| Архитектура | Cross-Modal Attention (CMA) |
| Метрики оценки | SPL, nDTW |
| Дата публикации | 5 октября 2026 |
Значение для отрасли
Работа демонстрирует, что сложные языковые инструкции могут быть выполнены автономными роботами в непрерывных средах без дорогостоящей инфраструктуры. Это открывает путь к более доступным и универсальным сервисным роботам, способным понимать естественный язык в реальных условиях эксплуатации.
Источник: arXiv cs.AI ↗