AIKraft Agents
Инструменты13 ноября 2026 г., 06:17 МСК🤖 Auto

Hugging Face: Как дообучить 3D-модель TRELLIS.2 через LoRA

Команда Hugging Face представила готовый пайплайн для тонкой настройки генеративной 3D-модели TRELLIS.2. Разбираем, какие слои замораживать, а какие обучать, чтобы исправить геометрию объектов без катастрофического забывания.

Баннер новости 11841

Проблема общих моделей и решение через LoRA

Общие модели генерации 3D-объектов, такие как TRELLIS.2, часто допускают ошибки в деталях, критичных для конкретных задач. Например, при генерации обуви модель может создать визуально правдоподобную форму, но исказить подошву. Для решения этой проблемы команда Hugging Face предлагает использовать LoRA (Low-Rank Adaptation). Этот метод позволяет обучать только небольшие матрицы-адаптеры, оставляя основные веса модели замороженными. Это снижает потребление памяти и предотвращает «катастрофическое забывание» — потерю общих навыков модели.

Архитектура TRELLIS.2: что именно мы настраиваем

TRELLIS.2 работает в пять этапов: удаление фона, кодирование изображения, генерация грубой структуры, детальной геометрии и материалов. Для дообучения были выбраны только два компонента, отвечающие за форму:

  • Sparse Structure Flow DiT: предсказывает грубую форму объекта (латент 16³ × 8).
  • Shape Flow DiT: генерирует детальную геометрию (O-Voxel 512³).

Третий компонент — Texture Flow DiT (генерация материалов и текстур) — был заморожен. Причина: датасет GSO содержит только диффузные карты цвета с baked-освещением, что не подходит для обучения раздельных карт материалов (metallic, roughness). Обучение текстуры привело бы к тому, что модель начнет воспринимать освещение как свойство поверхности.

Параметры обучения и метрики

Эксперимент проводился на подмножестве датасета Google Scanned Objects (GSO), включающем 188 объектов обуви. Всего было обучено около 9,3 миллиона параметров адаптеров. Ниже приведена конфигурация рангов (rank) для разных слоев:

Компонент модели Тип слоя Rank (R) Обоснование выбора
Sparse Structure Flow DiT Attention & MLP 8 Контроль грубой структуры; достаточная емкость для базовой формы.
Shape Flow DiT Attention 16 Контроль детальной геометрии; требуется большая емкость для точности.
Texture Flow DiT Все слои 0 (Frozen) Отсутствие качественных карт материалов в датасете; риск переобучения.

Инфраструктура и запуск

Для упрощения процесса Hugging Face предоставляет два Docker-образа: один для предобработки данных, второй — для непосредственного обучения. Скрипты совместимы с Hugging Face Jobs для облачного обучения на GPU, а также могут быть запущены локально. Перед началом работы необходимо получить доступ к модели DINOv3-L ( gated model) и загрузить 3D-мешы (форматы GLB/PLY) в Hugging Face Hub.

Почему это важно

Представленный подход демонстрирует, как эффективно адаптировать мощные базовые модели под нишевые задачи (робототехника, симуляции, медиа) без необходимости переобучения всей нейросети. Использование спарсных латентов (O-Voxel) и выборочное замораживание слоев позволяют достичь высокой точности геометрии при минимальных вычислительных затратах.

Источник: Hugging Face blog ↗