Проблема «буквального» понимания
Традиционные системы управления роботами требуют точных математических траекторий или перечисления всех препятствий. Если пользователь говорит «не пролей на ноутбук», робот избегает только его. Однако люди часто формулируют намерения неявно. Новая система FLEX (Flexible Feature-Editing Pipeline) решает эту проблему, позволяя роботу выводить общие правила из частных указаний.
Как работает FLEX: три шага за 5 секунд
Платформа использует мощь больших языковых моделей (в тестировании применялась GPT-4o) для анализа контекста. Процесс состоит из трех этапов:
- Add (Добавить): Робот фиксирует объект, упомянутый в команде (например, «кружка»).
- Generalize (Обобщить): LLM анализирует базу знаний интернета, находит паттерны и выводит абстрактное свойство (например, «хрупкий объект» или «электроника»), которое объединяет все ранее упомянутые предметы.
- Mask (Маскировать): Компьютерное зрение удаляет из списка целей объекты, которых больше нет в поле зрения, обновляя маршрут.
Весь цикл занимает около 5 секунд.
Результаты тестирования
Команда под руководством Андреи Бобу (MIT) и Натана Деннлера протестировала FLEX в симуляциях с манипулятором. Робот успешно применял общие правила к новым объектам, даже если пользователь не называл их напрямую.
| Сценарий | Команда пользователя | Буквальное действие | Обобщенное действие (FLEX) |
|---|---|---|---|
| Подача кофе | «Не пролей на ноутбук!» | Избегать ноутбука | Избегать всей электроники (включая телефон) |
| Перенос свечи | «Держись подальше от стопки бумаг» | Избегать бумаг | Избегать легковоспламеняющихся предметов |
| Перенос боулинга | «Не урони на кружку!» | Избегать кружки | Избегать хрупких объектов |
Значение для индустрии
Разработка опубликована в работе, которая будет представлена на конференции Conference on Robot Learning (октябрь 2026). Авторы подчеркивают, что FLEX снижает когнитивную нагрузку на пользователя: больше не нужно программировать робота или учить его математике траекторий. Система позволяет взаимодействовать на естественном языке, где робот сам достраивает логическую цепочку на основе здравого смысла, извлеченного из огромных массивов текстовых данных.
Источник: MIT News AI ↗