От текста к инженерии: что такое LLMForge
Команда исследователей (J de Curtò, Victoria Guillén, I. de Zarzà) представила эмпирическое исследование возможностей Foundation Models в автоматизации проектирования. Они разработали LLMForge — многомодельный фреймворк, который преобразует текстовые спецификации в параметрические CAD-модели механических деталей. Система использует JSON-schema валидацию, аналитическое оценивание признаков и синтез мешей.
Ключевая инновация — наличие двух режимов итеративного уточнения (critique regimes), которые позволяют модели исправлять ошибки на основе визуальной или семантической обратной связи:
- IterTracer: использует рендерер Phong с аналитическими метриками (IoU силуэта, видимость отверстий, зазоры, соответствие соотношения сторон).
- IterVision: заменяет аналитический счетчик на VLM-критика (Qwen2.5-VL-72B), который оценивает рендер через визуальное рассуждение (chain-of-thought), проверяя пространственную согласованность.
Бенчмарк и результаты: компактные модели против гигантов
Тестирование проводилось на наборе из 97 инженерных задач, охватывающих четыре семейства геометрии: пластины с отверстиями, многофункциональные коробки, фланцевые цилиндры и L-образные кронштейны. В исследовании участвовали семь крупных языковых моделей. Результаты под режимом IterTracer показали удивительно плотную кластеризацию лидеров.
| Модель | Средний балл (Overall Mean) | Успешность генерации меша |
|---|---|---|
| DeepSeek-V3.2 | ~0.890 | 98.97% |
| Qwen3-235B-A22B | ~0.889 | 98.97% |
| Llama-3.3-70B | ~0.887 | 98.97% |
| Gemma-3-27B | ~0.885 | 98.97% |
Важнейший вывод: четыре лучшие модели образуют плотный кластер с показателем успеха генерации меша 98.97%. При этом модель Gemma-3-27B (27B параметров) демонстрирует результаты, сопоставимые с гораздо более крупными системами, что открывает путь к более доступным и быстрым решениям для индустрии.
Проблема симметрии и роль VLM
Режим IterVision с использованием VLM Qwen2.5-VL-72B обеспечил 100% watertight mesh (водонепроницаемость сетки) на ведущей модели. Однако исследователи выявили систематическую сложность при работе с ротационно-симметричными объектами, такими как цилиндры. В этих случаях визуальные и семантические оценки наиболее сильно расходятся, что указывает на необходимость дальнейшей доработки промптов для специфических геометрических семейств.
Значение для индустрии
Работа, принятая к публикации в серии Springer "Advances in Global Applied Artificial Intelligence", демонстрирует переход от простых генеративных игр к серьезным инженерным задачам. Способность LLM понимать инженерные ограничения (зазоры, отверстия, болтовые круги) и итеративно улучшать дизайн на основе визуального фидбека снижает порог входа в автоматизированное проектирование.
Источник: arXiv cs.AI ↗