От промпта к интерактивному миру
Лаборатория PhiloLabs выпустила Fable 5.1 — инструмент, который генерирует целые 3D-локации на основе короткого описания (brief), фотографии или видеоклипа. В отличие от традиционных подходов, результат не требует загрузки бинарных ассетов или использования тяжелых игровых движков. Все миры рендерятся в браузере с помощью Three.js, а каждая деталь — от фасада здания до светофора — создается процедурно через код, хранящийся в репозитории.
Ключевая особенность системы — использование агентных роев (agent swarms). Агенты не просто рисуют пиксели, они исследуют место: собирают данные о карте, рельефе, инфраструктуре и витринах, моделируют геометрию, рендерят сцену и проводят независимую проверку качества.
Сравнение с GPT-6 Astra
PhiloLabs провели прямое сравнение Fable 5.1 с моделью GPT-6 Astra (обозначенной как Codex в некоторых тестах). Обе системы получали одинаковые вводные данные для генерации локаций, после чего результаты записывались на видео для объективного сравнения. Тесты охватывали как реальные места, так и вымышленные сцены.
| Локация / Сцена | Тип ввода | Особенности реализации | Длительность демо |
|---|---|---|---|
| Union Square, San Francisco | Текст (стиль) | Реальная геометрия, аэросъемка, плаза, магазины (Nintendo, Apple) | 59 сек |
| Higashiyama, Kyoto | Текст (стиль) | Реальные координаты, закат, маршрут от Гиона до Кийомидзу-дера | 53.9 сек |
| Death Star Trench Run | Видео (кадр из фильма) | Процедурная генерация вселенной Star Wars, симуляция полета X-wing | 28.2 сек |
Технический стек и верификация
Процесс создания мира строго детерминирован и разбит на этапы, каждый из которых можно воспроизвести:
- Разведка (Reconnaissance): Параллельные агенты собирают данные из OpenStreetMap, USGS 3DEP и других источников, присваивая каждому факту уровень уверенности.
- Генерация ассетов: Скрипты создают модули фасадов, мебели, транспорта и растительности. Некоторые миры не содержат бинарных файлов, загружая текстуры прямо во время старта.
- Рантайм: Чистое приложение Three.js собирает сцену из JSON-спецификаций.
- Верификация: Используется Playwright для скриншотов фиксированных точек. Независимые агенты-ревизоры (архитектор, географ, технический художник) сравнивают рендер с реальными фотографиями того же ракурса. Ошибки фиксируются как падающие тесты, а не субъективные мнения.
Почему это важно
Подход «Worlds as code» решает проблему непрозрачности нейросетевых генераций. Поскольку мир представлен кодом, его можно:
- Верифицировать: Проверить высоту здания или расположение дороги можно, запустив код, а не гадая по пикселям.
- Редактировать: Изменение «углубить витрины» делается через diff, а не требует полной перегенерации.
- Использовать для обучения: Миры могут служить средой для тренировки агентов и роботов, где геометрия совпадает с ground truth.
Проект распространяется под лицензией MIT. Геометрия основана на данных OpenStreetMap (ODbL) и USGS 3DEP (public domain). Отдельно отмечается, что сцена Death Star является неофициальной данью уважения, где все ассеты сгенерированы процедурно, а оригинальные материалы Lucasfilm не используются.
Источник: Github ↗