Проблема «размытой» памяти
Автономные роботы, оснащенные моделями «видение-язык» (VLM), способны создавать детальные описания окружающей среды. Однако при плохом освещении, размытии или частичном перекрытии объекта система может сформировать ошибочную запись. Например, темный цилиндр на крыше может быть ошибочно идентифицирован как белка. Если робот не может исправить эту ошибку, она сохраняется в памяти, что критично для задач, требующих точности, таких как поиск дефибриллятора в чрезвычайной ситуации.
Как работает UQ-DAAAM
Новая система, названная UQ-DAAAM (Uncertainty Quantification for Describe Anything, Anywhere, at Any Moment), интегрирует количественную оценку неопределенности в существующий фреймворк DAAAM. Алгоритм работает по следующему принципу:
- Оценка уверенности: Система анализирует, насколько VLM уверен в сгенерированном описании объекта.
- Сравнение ракурсов: Сравниваются описания одного и того же объекта, снятые с разных точек обзора.
- Выбор данных: Если уровень неопределенности превышает порог, алгоритм выбирает дополнительные кадры (например, где виден дым из трубы), чтобы снизить неопределенность, не перезапуская тяжелую модель VLM заново.
- Фьюжн описаний: Языковая модель (LLM) объединяет новые и старые данные, придавая больший вес наиболее четким и однозначным описаниям.
Ключевые метрики эффективности
В ходе тестирования исследователи продемонстрировали значительное улучшение показателей по сравнению с базовыми методами. Система способна разрешать неоднозначности для подавляющего большинства объектов, требуя минимальных вычислительных ресурсов.
| Метрика | Результат UQ-DAAAM | Значение |
|---|---|---|
| Доля разрешенных неоднозначностей | ~92% | Система успешно уточняет описание объектов в 92% случаев |
| Дополнительные кадры на объект | 2 | Минимальное количество новых изображений для коррекции |
| Рост точности описаний | +5% | Превосходство над состоянием искусства (SOTA) |
| Скорость работы | Доли секунды | Возможность работы в реальном времени на движущемся роботе |
Почему это важно для безопасности
Главное отличие подхода MIT от обычных чат-ботов (вроде ChatGPT) заключается в ответственности за физический мир. Как отмечает старший автор исследования, профессор MIT Лука Карлоне (Luca Carlone), недостаточно просто выдать предупреждение о возможной ошибке. Робот должен знать, чего он не знает. Это позволяет системе proactively запрашивать уточняющую информацию, а не действовать наугад, что является ключевым условием для безопасного внедрения физической ИИ-технологии в общество.
Авторы и публикация
Исследование выполнено в Лаборатории системной информации и принятия решений (LIDS) и Лаборатории SPARK MIT. Основные авторы — аспиранты Гарри Чжан (Harry Zhang) и Нико Горло (Nicolas Gorlo), под руководством профессора Луки Карлоне. Работа будет представлена на конференции NeurIPS 2026.
Источник: MIT News AI ↗