Проблема: плоское изображение — тупик
Когда исходный файл дизайна (например, Figma) потерян, остается только растровое изображение. Редактировать его невозможно: нельзя переместить элемент, изменить цвет фигуры, исправить опечатку или перестроить макет. Традиционные методы генеративного редактирования работают в пиксельном пространстве, что приводит к размытию макета и ошибкам в позиционировании.
Решение: агент ReDesign
Команда разработчиков представила ReDesign — систему, которая «восстанавливает» дизайн обратно в иерархию слоев. Используя контроллер на базе Vision-Language Model (VLM), агент строит древовидную структуру слоев «от общего к частному», верифицируя каждый шаг. Результат — полностью редактируемый макет с текстовыми слоями, векторными фигурами и группами с правильным z-order.
Как это работает: 5 инструментов
Агент не просто генерирует пиксели, а использует специализированные инструменты для извлечения семантики:
- Извлечение текста (Text extraction)
- Многослойная декомпозиция (Multi-layer decomposition)
- Разметка связанных компонентов (Connected Component Labeling)
- Детекция и сегментация (Detection & Segmentation)
- Векторизация и типографика (Vectorization & Typography)
Результаты: бенчмарк Figma-909
Для оценки качества восстановления создан датасет Figma-909, включающий 909 реальных дизайнов от 288 авторов. ReDesign демонстрирует лучшие метрики по сравнению с базовыми моделями (VTracer, LayerD, Qwen-Image-Layered, Tool Agent). Ниже приведено сравнение ключевых метрик:
| Метод | L1 ↓ (ошибка) | PSNR ↑ (качество) | LPIPS ↓ (перцепция) | PQ ↑ (качество сегм.) | F1 ↑ (точность) |
|---|---|---|---|---|---|
| VTracer | 0.0977 | 20.487 | 0.1917 | 24.64 | 0.309 |
| LayerD | 0.0704 | 16.141 | 0.3381 | 30.09 | 0.350 |
| Qwen-Image-Layered | 0.0493 | 26.192 | 0.1073 | 35.37 | 0.429 |
| Tool Agent | 0.0493 | 13.923 | 0.3869 | 45.33 | 0.527 |
| ReDesign (Ours) | 0.0431 | 26.286 | 0.0883 | 45.37 | 0.535 |
Почему это важно для дизайнеров
Главное преимущество ReDesign — редактируемость. В тестах на 6 типов изменений (удаление, прозрачность, перекраска, поворот, переход, z-order) структура ReDesign выживает лучше всех. В отличие от таких моделей, как Nano Banana 2, которые искажают окружение при простых командах, ReDesign точно изолирует слои. Это позволяет вернуть к жизни проекты, у которых потеряны исходные файлы, экономя часы на воссоздании макетов с нуля.
Источник: Github ↗