Суть проблемы: разрыв между интерфейсом и инженерией
Исследователи из команды Zihan Dong представили CADWorld — первый специализированный бенчмарк для оценки AI-агентов в среде профессионального 3D-моделирования FreeCAD. В отличие от общих тестов на управление десктопом, CADWorld фокусируется на long-horizon (долгосрочных) задачах, где критически важно сохранение структуры файла, геометрии и параметров после завершения работы.
Ключевая сложность заключается в том, что агент должен не просто «нажать нужные кнопки», а создать валидный инженерный артефакт. Ошибка в параметре или нарушении связей между деталями делает всю модель непригодной для производства или симуляции.
Методология и масштаб теста
Бенчмарк включает 200 задач, охватывающих 11 категорий механического проектирования:
- Скетчинг (эскизирование) и параметрическое моделирование;
- Сборка узлов (assembly);
- CAM (программирование станков с ЧПУ);
- FEM (конечно-элементный анализ);
- Обработка сеток (mesh processing) и создание технической документации.
Успех определяется не визуальным сходством, а исполняемыми проверками сохраненных файлов FreeCAD: анализ геометрических свойств, структуры параметров, ограничений и результатов симуляций.
Результаты: провал сильнейших моделей
Тестирование семи современных AI-агентов выявило критический разрыв между умением работать с GUI и способностью выполнять инженерные рабочие процессы. Даже самый продвинутый агент справился лишь с 17,5% задач, в то время как экспертная человеческая выборка показала результат 87,0%.
| Показатель | Значение | Комментарий |
|---|---|---|
| Результат лучшего AI-агента | 17.5% | Слабая способность к долгосрочному планированию |
| Результат эксперта-человека | 87.0% | Высокая надежность инженерных решений |
| Количество задач | 200 | Покрытие 11 категорий CAD-процессов |
| Среда тестирования | FreeCAD | Открытая система параметрического 3D-моделирования |
Почему это важно для индустрии
Исследование показывает, что текущие модели теряют контекст и нарушают логическую структуру проекта при переходе от простых команд к сложным цепочкам действий. Слабые агенты часто не могут даже создать валидный файл, а сильные — допускают ошибки в геометрии и параметрах, что делает модель бесполезной для реального производства. CADWorld становится новым стандартом для оценки готовности AI к работе в профессиональной инженерной среде.
Источник: arXiv cs.AI ↗