Суть проблемы: топология против евклидовой геометрии
Большинство современных тестов для ИИ (VLM) проверяют знание расстояний, углов и размеров. Однако человеческое пространственное мышление опирается на топологию — свойства, которые не меняются при деформации объектов. Microsoft Research совместно с учеными из Northwestern University и Stanford University выпустила бенчмарк MindTopo, который тестирует именно эти абстрактные связи: связность, замкнутость, порядок, разделение и узлы.
Задача ИИ — не просто «увидеть» картинку, а понять, остается ли путь открытым после перемещения стены, или веревка действительно завязана в узел, а не просто перекручена.
Две когнитивные задачи: Распознавание и Планирование
MindTopo разделяет задачи на два уровня, выявляя критический разрыв в возможностях моделей:
- Reasoning (Статика): Модель анализирует одно изображение и отвечает на вопрос (например, «находится ли овца внутри забора?»).
- Planning (Интерактив): Модель взаимодействует с симуляцией, выбирая действия (поворот труб, перемещение блоков), которые должны сохранить или изменить топологическое состояние. Окружающая среда запрещает нереалистичные действия, например, прохождение веревки сквозь другую веревку.
Результаты: ИИ «слепнет» в движении
Исследование показало, что современные проприетарные и open-weight модели демонстрируют значительный разрыв между восприятием и действием. Если на статичных задачах некоторые модели показывают приемлемые результаты, то при необходимости сохранить топологическую целостность через последовательность действий они терпят крах.
| Категория топологии | Пример задачи | Основная ошибка моделей |
|---|---|---|
| Continuity (Связность) | Остается ли путь в лабиринте открытым? | Потеря связи после перемещения препятствий |
| Separation (Разделение) | Образуют ли элементы одну структуру? | Неверная классификация границ объектов |
| Order (Порядок) | Как элементы расположены вдоль пути? | Нарушение последовательности при трансформации |
| Enclosure (Замкнутость) | Находится ли объект внутри границы? | Ошибка в определении «внутри»/«снаружи» |
| Knots (Узлы) | Завязан ли узел или это просто перекрутка? | Невозможность отличить топологический узел от визуального хаоса |
Почему генерация изображений не помогает
Исследователи также проверили, может ли использование генеративных инструментов (image/video generation) помочь моделям удержать контекст. Результаты оказались негативными: генерация видео часто искажала топологию или нарушала физические ограничения сцены. Визуальная симуляция полезна только тогда, когда она строго сохраняет структурные ограничения, чего современные генеративные модели пока не гарантируют.
Значение для робототехники и агентов
Выводы MindTopo указывают на необходимость создания моделей с явным «топологическим состоянием» или мировыми моделями, которые по своей архитектуре сохраняют топологические инварианты. Без этого прорыва в области робототехники, доступных интерфейсов и интерактивных ассистентов ИИ будет продолжать совершать фатальные ошибки при планировании действий в реальном мире, где важно не «как выглядит», а «что с чем связано».
Источник: Microsoft Research ↗