Проблема: AI видит, но не понимает физику
Генеративные модели 3D-пространства часто создают визуально впечатляющие, но физически неработоспособные объекты. Например, кружка может выглядеть эстетично, но иметь слишком тонкие стенки или отсутствующую ручку, из-за чего она не может удерживать жидкость. Основная проблема заключается в том, что AI-генераторы понимают визуальные паттерны, но не учитывают инженерные ограничения и функциональность предметов.
Решение: Синерия TRELLIS и GPT-4
Инструмент InstructMesh объединяет две мощные технологии:
- TRELLIS (от Microsoft) — система для создания 3D-моделей по текстовым и визуальным промптам.
- GPT-4 — языковая модель, обеспечивающая логическое рассуждение и понимание инструкций пользователя.
Пользователь может выделить конкретную часть чертежа (например, ручку кружки или крыло очков) и описать желаемые изменения естественным языком. Система интерпретирует запрос в латентном пространстве генеративной модели, внося точечные геометрические правки, которые пользователь может утвердить или отклонить.
Результаты тестирования: 90% успеха для новичков
Команда исследователей провела стресс-тест системы, используя популярные модели с платформы Thingiverse. Оказалось, что почти 80% существующих 3D-моделей имеют структурные дефекты. Когда новички (без опыта в 3D-моделировании) использовали InstructMesh для исправления этих ошибок, они успешно идентифицировали и исправляли проблемы в 90% случаев (по оценке экспертов).
Примеры применения: От дракона до робота
InstructMesh позволяет создавать не просто декоративные, но и функциональные объекты, интегрируя их с реальными компонентами. Примеры из исследования:
- Кружка с драконом: хвост дракона функционирует как ручка, а тело — как чаша.
- Коллектор напитков: конструкция в виде осьминога, где каждый щупалец является отдельным дозатором жидкости.
- Колений ортез: дизайн, имитирующий текстуру джинсовой ткани для интеграции с гардеробом пользователя.
- Робот «Bristle Bot»: корпус в виде креветки, скрывающий мотор и электронику, способный перемещаться по поверхностям.
Перспективы: AR и физическое моделирование
Автор исследования Фараз Фарукки (Faraz Faruqi), ныне работающий в Google, планирует интегрировать InstructMesh в платформы дополненной реальности (AR). Идея заключается в том, чтобы пользователь мог описать нужную деталь в контексте своего окружения (например, чехол для телефона, совпадающий с кошельком), и система мгновенно сгенерирует пригодную для печати модель. В будущем инструмент также может включать симуляцию физики для проверки прочности (например, устойчивость к падению) и интеграцию с более новой версией TRELLIS.2 для работы с мелкими деталями.
Источник: MIT News AI ↗