AIKraft Agents
Главная/Блог/Гайд/Полное руководство по LoRA-дообучению…
Гайд9 мин чтения · 12 ноября 2026 г.

Полное руководство по LoRA-дообучению 3D-моделей TRELLIS.2

Разбираем архитектуру TRELLIS.2, стратегию заморозки слоев и пошаговый процесс дообучения 3D-генераторов через LoRA на примере обуви.

Полное руководство по LoRA-дообучению 3D-моделей TRELLIS.2

Генерация трехмерных объектов перестала быть просто демонстрацией возможностей нейросетей — она стала рабочим инструментом для робототехники, симуляций, игровой индустрии и медиа. Однако, как и в любой серьезной инженерной задаче, здесь возникает проблема: общие модели, обученные на широких наборах данных, часто не справляются с узкоспециализированными требованиями. Представьте, что вы создаете виртуальную мебель для симуляции логистики. Вам нужна не просто «похожая» на стол форма, а точная геометрия с правильными пропорциями ножек и столешницы. Если модель выдает «размытые» или искаженные детали, она бесполезна для задачи, даже если визуально выглядит приемлемо.

В этой статье мы подробно разберем, как адаптировать мощную модель генерации 3D-объектов TRELLIS.2 под конкретные нужды с помощью техники LoRA (Low-Rank Adaptation). Мы не просто скопируем команды из документации, а поймем архитектуру модели, выберем, какие части сети нужно обучать, а какие — заморозить, и как запустить этот процесс как в облаке Hugging Face Jobs, так и локально на вашем железе. Это руководство для тех, кто хочет перейти от простого использования 3D-генераторов к их тонкой настройке под свои данные.

01Почему общие модели не всегда подходят

Индурия 3D-генерации сталкивается с фрагментацией форматов. Существуют десятки способов представления 3D-объектов: от классических GLB и PLY до более сложных нейронных представлений, таких как NeRF (Neural Radiance Fields) и 3D Gaussian Splatting. Каждая из этих технологий имеет свои плюсы и минусы в плане скорости рендеринга, качества текстур и совместимости с игровыми движками.

Модель TRELLIS предложила элегантное решение: единое латентное представление (unified latent representation). Декодеры модели могут конвертировать это внутреннее представление в любой требуемый выходной формат. Это означает, что вам не нужно обучать отдельные модели для каждого типа файла. Однако команда разработчиков выпустила TRELLIS.2, которая значительно улучшила понимание структуры 3D-объектов, но, как и любая общая модель, она не заточена под специфические домены. Например, она может генерировать обувь, которая выглядит правильно, но имеет неверную форму подошвы. Именно здесь вступает в игру дообучение (fine-tuning).

02Архитектура TRELLIS.2: как она работает

Чтобы эффективно дообучать модель, нужно понимать, как она генерирует объект. Пайплайн TRELLIS.2 состоит из пяти основных этапов. Разбор каждого этапа критически важен для понимания того, где именно мы будем внедрять адаптеры LoRA.

1. Кодирование входного изображения

Процесс начинается с обработки 2D-изображения. Сначала нейросеть BiRefNet удаляет фон, оставляя только объект. Затем модель DINOv3-L кодирует это изображение в набор «токенов признаков» (feature tokens). Эти токены служат инструкцией для всей последующей генерации, направляя модель к созданию объекта, соответствующего исходному виду.

2. Генерация разреженной структуры (Sparse Structure Flow)

На этом этапе модель предсказывает грубую форму объекта. Используется диффузионный трансформер (DiT), который создает небольшой латентный объем размером 16³ × 8. Затем декодер вариационного автоэнкодера (VAE) преобразует этот латент в сетку занятости (occupancy grid) размером 64 × 64 × 64. Каждая ячейка (воксель) в этой сетке указывает, принадлежит ли данная точка пространству объекта. Это «скелет» будущей 3D-модели.

Визуализация процесса преобразования изображения в токены признаков для генерации.
Визуализация процесса преобразования изображения в токены признаков для генерации.

3. O-Voxel и структурированные латенты

TRELLIS.2 использует формат O-Voxel — это разреженная воксельная сетка. В отличие от плотных сеток, она хранит только воксели на поверхности объекта, сохраняя локальную геометрию (вершины меша) и атрибуты материалов. Благодаря разреженности, процессор может конвертировать меш в O-Voxel за секунды, а видеокарта — обратно. Модель использует только около 10% вокселей сетки, игнорируя пустое пространство, что экономит вычислительные ресурсы. Трансформеры для формы и текстуры являются разреженными, а для структуры — плотными.

Структура разреженной сетки занятости (Sparse Structure) на раннем этапе генерации.
Структура разреженной сетки занятости (Sparse Structure) на раннем этапе генерации.

4. Генерация геометрии (Shape Flow)

Это ключевой этап для детализации формы. Трансформер Shape Flow DiT использует сетку занятости и токены признаков DINOv3 для создания латента. Декодер VAE преобразует его в геометрию O-Voxel с высоким разрешением 512 × 512 × 512. Именно здесь модель определяет точные контуры, изгибы и пропорции объекта.

Пример разреженного воксельного представления (O-Voxel) объекта.
Пример разреженного воксельного представления (O-Voxel) объекта.

5. Генерация материалов и создание меша

На финальном этапе Texture Flow DiT определяет материалы и текстуры поверхности. Декодер VAE генерирует значения базового цвета, металличности, шероховатости и альфа-канала для каждого вокселя. Затем геометрия и материалы объединяются в текстурированный меш, который экспортируется в формат GLB.

Финальная форма объекта после применения Shape Flow DiT.
Финальная форма объекта после применения Shape Flow DiT.

03Стратегия дообучения: что обучать, а что заморозить

Главный вопрос при fine-tuning: какие параметры менять? В TRELLIS.2 мы добавляем адаптеры LoRA только к двум компонентам: Sparse-Structure Flow DiT и Shape Flow DiT. Почему?

Эти два трансформера отвечают за форму и геометрию. Если наша цель — улучшить, например, форму подошвы обуви, нам нужно воздействовать именно на эти этапы. Мы замораживаем Texture Flow DiT по двум причинам:

💡
Совет по данным. Наш датасет содержит карты диффузного цвета (diffuse color maps), которые включают baked-освещение. Для обучения Texture Flow DiT нужны отдельные карты материалов (metallic, roughness и т.д.). Использование смешанных карт приведет к тому, что модель научится воспринимать освещение как свойство поверхности, что является ошибкой.

Кроме того, обучение текстуры на неполных данных может вызвать катастрофическое забывание (catastrophic forgetting) — модель забудет, как она раньше генерировала качественные текстуры. Поскольку базовая модель уже хорошо справляется с цветами и текстурами, мы оставляем этот этап без изменений.

04Почему именно LoRA?

LoRA (Low-Rank Adaptation) позволяет дообучать модель, тренируя небольшие матрицы-адаптеры, в то время как исходные веса остаются замороженными. Это дает два главных преимущества:

  1. Экономия ресурсов. Количество обучаемых параметров резко снижается, что уменьшает потребность в памяти для градиентов и состояния оптимизатора.
  2. Сохранение знаний. Полное дообучение (full fine-tuning) на малом датасете (например, 188 объектов обуви из набора GSO) может «сломать» общие знания модели. LoRA позволяет внести точечные изменения, не переписывая фундаментальные priors модели.

В нашем эксперименте мы обучаем около 9.3 миллионов параметров адаптеров. Для Sparse-Structure Flow DiT используется ранг 8 (rank 8) в слоях внимания и MLP. Для Shape Flow DiT в слоях внимания используется ранг 16. Ранг определяет размерность матриц адаптера: чем выше ранг, тем больше информации модель может выучить, но тем выше риск переобучения на малых данных.

⚠️ Важно.
Выбор ранга. Не стоит слепо увеличивать rank. Для малых датасетов (менее 1000 объектов) ранги 8-16 обычно оптимальны. Слишком высокий ранг приведет к переобучению на шум в данных.

05Подготовка данных и предрасчет

Перед началом обучения необходимо подготовить данные. Модель TRELLIS.2 не работает напрямую с сырыми мешами (GLB/OBJ) в том виде, в котором они есть у пользователя. Нам нужно:

  1. Рендеринг видов. С помощью Blender (запущенного через xvfb-run, так как на серверах нет дисплея) рендерится 16 видов каждого объекта. Эти изображения станут входными данными для кодировщика DINOv3.
  2. Конвертация в латенты. Меши преобразуются в латентные представления, которые использует TRELLIS.2. Это позволяет избежать повторных вычислений на каждом шаге обучения.

Мы сохраняем предварительно обработанный датасет, чтобы все последующие запуски обучения могли его переиспользовать. Это экономит время, так как предрасчет может занимать часы.

06Запуск обучения: Hugging Face Jobs vs Docker

Мы предоставляем два Docker-образа: один для предрасчета (preprocessing), второй для обучения (fine-tuning). Их можно запускать как в облаке Hugging Face Jobs, так и локально.

Вариант 1: Hugging Face Jobs

Это самый простой способ для тех, у кого нет мощных GPU. Jobs запускает контейнеризированные рабочие нагрузки на облачном оборудовании. Нам нужен доступ к GPU A100 (80 GB) для стабильной работы.

Для предрасчета используется команда:

terminalbash
export HF_TOKEN=hf_xxx
hf jobs run -d --flavor a100-large --timeout 6h --secrets HF_TOKEN \
  cr.hf.co/suvadityamuk/trellis2-finetuning-prep:latest \
  trellis2-prep \
    --meshes your-username/my-meshes \
    --push-to your-username/my-meshes-trellis2 \
    --private --holdout 0.05 \
    --views 16 --workers 8

Ключевые флаги:

  • --flavor a100-large: выбор GPU. A100 80GB необходим из-за объема памяти, требуемого для латентов.
  • --timeout 6h: лимит времени. Jobs автоматически возобновит работу, если она прервется, и пропустит уже обработанные объекты.
  • --secrets HF_TOKEN: безопасная передача токена доступа.

Для обучения LoRA запускаются два отдельных задания (по одному для каждого DiT):

terminalbash
# Для Sparse-Structure Flow DiT
hf jobs run -d --flavor a100-large --timeout 12h --secrets HF_TOKEN \
  cr.hf.co/suvadityamuk/trellis2-finetuning-train:latest \
  trellis2-train --config ss \
    --latents your-username/my-meshes-trellis2 \
    --push-to your-username/my-trellis2-lora \
    --run-name ss_lora \
    --push-path ss_lora \
    --trackio-space your-username/trellis2-trackio

# Для Shape Flow DiT
hf jobs run -d --flavor a100-large --timeout 12h --secrets HF_TOKEN \
  cr.hf.co/suvadityamuk/trellis2-finetuning-train:latest \
  trellis2-train --config shape \
    --latents your-username/my-meshes-trellis2 \
    --push-to your-username/my-trellis2-lora \
    --run-name shape_lora \
    --push-path shape_lora \
    --trackio-space your-username/trellis2-trackio \
    --set max_steps=3000 i_save=500

Метрики обучения записываются в Trackio, что позволяет мониторить процесс в реальном времени через веб-интерфейс.

Вариант 2: Локальный запуск через Docker

Если у вас есть сервер с GPU NVIDIA, вы можете запустить те же контейнеры локально. Команды аналогичны, но с использованием docker run.

terminalbash
# Локальный предрасчет
docker run --gpus all --rm --shm-size 16g -e HF_TOKEN=hf_xxx \
  -v hf-cache:/root/.cache/huggingface -v $PWD/work:/workspace/work \
  cr.hf.co/suvadityamuk/trellis2-finetuning-prep:latest \
  trellis2-prep --meshes your-username/my-meshes --push-to your-username/my-meshes-trellis2

# Локальное обучение (Shape Flow)
docker run --gpus all --rm --shm-size 16g \
  -v hf-cache:/root/.cache/huggingface -v $PWD/work:/workspace/work \
  cr.hf.co/suvadityamuk/trellis2-finetuning-train:latest \
  trellis2-train --config shape --latents your-username/my-meshes-trellis2 \
    --push-to your-username/my-trellis2-lora --trackio-space your-username/trellis2-trackio

Обратите внимание на флаг --shm-size 16g. PyTorch активно использует разделяемую память для мультипроцессинга, и стандартного размера Docker-шаред-мемори часто недостаточно, что приводит к ошибкам.

📌 Факт.
Готовые датасеты. Если вы не хотите готовить данные самостоятельно, команда авторов предоставляет уже обработанный датасет обуви (GSO footwear). Вы можете сразу запустить обучение, указав путь к этому датасету в аргументе --latents.

07Что это значит на практике

Дообучение 3D-генераторов через LoRA — это не просто технический трюк, а новый стандарт работы с AI в индустрии. Вот что это дает на практике:

  1. Специализация без переобучения. Вы можете создать модель, которая идеально генерирует, например, архитектурные элементы или детали механизмов, не теряя способности генерировать другие объекты.
  2. Экономия вычислений. Обучение LoRA-адаптеров требует в разы меньше VRAM и времени, чем полное fine-tuning. Это делает процесс доступным даже для небольших студий.
  3. Итеративность. Вы можете быстро тестировать разные гиперпараметры (ранг, learning rate) и разные наборы данных, получая результат за часы, а не дни.

Инструменты, представленные в этом руководстве, открывают путь к созданию кастомных 3D-генераторов под любые задачи. От прототипирования продуктов до создания контента для игр — контроль над формой и структурой через LoRA становится ключевым навыком для специалистов в области AI-генерации.

Источник: Hugging Face ↗