Проблема общих моделей и решение через LoRA
Общие модели генерации 3D-объектов, такие как TRELLIS.2, часто допускают ошибки в деталях, критичных для конкретных задач. Например, при генерации обуви модель может создать визуально правдоподобную форму, но исказить подошву. Для решения этой проблемы команда Hugging Face предлагает использовать LoRA (Low-Rank Adaptation). Этот метод позволяет обучать только небольшие матрицы-адаптеры, оставляя основные веса модели замороженными. Это снижает потребление памяти и предотвращает «катастрофическое забывание» — потерю общих навыков модели.
Архитектура TRELLIS.2: что именно мы настраиваем
TRELLIS.2 работает в пять этапов: удаление фона, кодирование изображения, генерация грубой структуры, детальной геометрии и материалов. Для дообучения были выбраны только два компонента, отвечающие за форму:
- Sparse Structure Flow DiT: предсказывает грубую форму объекта (латент 16³ × 8).
- Shape Flow DiT: генерирует детальную геометрию (O-Voxel 512³).
Третий компонент — Texture Flow DiT (генерация материалов и текстур) — был заморожен. Причина: датасет GSO содержит только диффузные карты цвета с baked-освещением, что не подходит для обучения раздельных карт материалов (metallic, roughness). Обучение текстуры привело бы к тому, что модель начнет воспринимать освещение как свойство поверхности.
Параметры обучения и метрики
Эксперимент проводился на подмножестве датасета Google Scanned Objects (GSO), включающем 188 объектов обуви. Всего было обучено около 9,3 миллиона параметров адаптеров. Ниже приведена конфигурация рангов (rank) для разных слоев:
| Компонент модели | Тип слоя | Rank (R) | Обоснование выбора |
|---|---|---|---|
| Sparse Structure Flow DiT | Attention & MLP | 8 | Контроль грубой структуры; достаточная емкость для базовой формы. |
| Shape Flow DiT | Attention | 16 | Контроль детальной геометрии; требуется большая емкость для точности. |
| Texture Flow DiT | Все слои | 0 (Frozen) | Отсутствие качественных карт материалов в датасете; риск переобучения. |
Инфраструктура и запуск
Для упрощения процесса Hugging Face предоставляет два Docker-образа: один для предобработки данных, второй — для непосредственного обучения. Скрипты совместимы с Hugging Face Jobs для облачного обучения на GPU, а также могут быть запущены локально. Перед началом работы необходимо получить доступ к модели DINOv3-L ( gated model) и загрузить 3D-мешы (форматы GLB/PLY) в Hugging Face Hub.
Почему это важно
Представленный подход демонстрирует, как эффективно адаптировать мощные базовые модели под нишевые задачи (робототехника, симуляции, медиа) без необходимости переобучения всей нейросети. Использование спарсных латентов (O-Voxel) и выборочное замораживание слоев позволяют достичь высокой точности геометрии при минимальных вычислительных затратах.
Источник: Hugging Face blog ↗
