Что такое VibeWorlding
Лаборатория HKUST (usail-hkust) выпустила VibeWorlding — открытую платформу для обучения и бенчмаркинга агентов, способных автономно конструировать 3D-миры. Система работает по принципу «визуального отклика»: агент видит текущую карту сцены и 5 рендеров, вызывает инструменты (добавление, удаление, трансформация объектов) и корректирует результат на основе обратной связи.
Ключевая особенность — использование Blender 4.2.x как единой песочницы для генерации, рендеринга и верификации сцен. Агент взаимодействует с окружением через MCP-подобные инструменты, что позволяет обучать модели методом RL (GRPO) на основе рубрик-верификатора.
Детали датасета VWE-Bench
Для обучения и тестирования подготовлен масштабный набор данных VWE-Bench, разделенный на три независимых сплита (SFT, RL, Test) на основе 323 человеческих «seed-миров». Это исключает заучивание сцен и проверяет реальную способность к обобщению.
| Компонент | Количество / Характеристики |
|---|---|
| 3D-ассеты | 2 616 GLB-файлов (мебель, растительность, здания, транспорт) |
| Seed-миры | 323 мира (медиана 28 объектов на сцену, от хуторов до городов) |
| Запросы (Queries) | 6 828 мультимодальных запросов (reverse-synthesized) |
| Случаи SFT | 5 567 примеров (1 129 создание + 4 438 улучшение) |
| Случаи RL | 1 007 роулов (189 создание + 818 улучшение) |
Архитектура и модели
Система включает в себя сервисы извлечения ассетов и рендеринга, а также стек обучения на базе verl. Для работы с языком и визуализацией используются модели семейства VibeWorlder.
- VibeWorlder-Embedding-4B: модель для семантического поиска и извлечения 3D-ассетов по текстовому запросу.
- VibeWorlder-8B и VibeWorlder-30B-A3B: базовые языковые модели для планирования сцены и принятия решений агентом.
Технические требования и запуск
Для развертывания требуется Python 3.12, PyTorch 2.10.0+cu129 и vLLM 0.17.0. Сервис рендеринга (Blender) и сервис извлечения ассетов запускаются как отдельные микросервисы на портах 8080 и 8081 соответственно. Агент общается с ними через API, получая визуальный фидбек после каждого шага.
Почему это важно
VibeWorlding решает проблему «разрыва» между текстовым намерением пользователя и сложной 3D-геометрией. Предыдущие подходы часто страдали от физических несоответствий (объекты проваливаются, пересекаются). Новая система использует верификатор, который оценивает не только соответствие тексту, но и физическую реализуемость сцены, что критично для создания интерактивных миров в играх и VR.
Источник: Github ↗