Проблема «языкового разрыва» в навигации дронов
Аэрокосмические агенты навигации на основе зрения и языка (Aerial VLN), такие как OpenFly, обучаются на детализированных командах, строго привязанных к траектории. Однако реальные пользователи выдают короткие, намеренно сжатые инструкции. Этот разрыв, названный авторами "instruction gap", критически снижает эффективность: на замороженном (frozen) навигаторе OpenFly успешность выполнения задачи (Success Rate, SR) падает с 31.03% до 11.33% при использовании естественных человеческих команд.
Решение: Trajectory-Grounded Instruction Translator (TGIT)
Команда авторов во главе с Си Ченом (Xi Chen) предложила фронтенд-модуль TGIT. Его задача — переводить слабые (Weak) или человеческие инструкции в команды, понятные агенту, не переобучая сам навигатор. Методология включает:
- Генерация данных: Использование языковой модели для создания пар «оригинальная команда — слабая команда» на основе примеров стиля, написанных людьми.
- Обучение на траекториях: TGIT учится переводить входные данные, опираясь на результаты траекторий агента, сохраняя навигатор неизменным (frozen).
Ключевые метрики и результаты
Внедрение TGIT позволило не только улучшить работу на тестовых данных, но и обеспечить zero-shot перенос на реальные человеческие инструкции. Сравнение эффективности представлено ниже:
| Сценарий / Модель | Без TGIT (SR) | С TGIT (SR) | Прирост |
|---|---|---|---|
| Человеческие инструкции (Zero-shot) | 11.33% | 32.51% | +21.18% |
| OpenFly (held-out) | 4.95% | 20.79% | +15.84% |
| Слабые инструкции (Weak-trained) | 15.27% | 37.93% | +22.66% |
Значение для отрасли
Результаты показывают, что TGIT не только решает проблему несовместимости команд для OpenFly, но и демонстрирует устойчивость на других датасетах, таких как CityNav и AirVLN. Подход позволяет масштабировать обучение переводчиков инструкций без необходимости дорогостоящего переобучения тяжелых навигационных моделей, что открывает путь к более интуитивному управлению беспилотниками в сложных условиях.
Источник: arXiv cs.AI ↗