Адаптивное токенизация для экономии ресурсов
Команда разработчиков представила Budget3D, метод, основанный на моделях Idol и Idol-Turbo от Sperid Labs. Эти модели преобразуют одно изображение в 3D-гауссовы сплейты (Gaussian splats). Ключевое нововведение Budget3D — возможность настраивать количество токенов во время инференса (inference time) в диапазоне от 100% до 40% от базовых 8 192 латентных токенов.
Метод работает за счет адаптивной токенизации: области с наименьшим изменением латентного пространства (в первую очередь пустое пространство) объединяются в более грубые токены, тогда как детализированные участки сохраняют полное разрешение. Это позволяет существенно сократить время выборки и потребление памяти GPU.
Производительность и экономия ресурсов
Эксперименты проводились на GPU NVIDIA H100 (для Budget3D-Idol) и RTX PRO 6000 (для Budget3D-Idol-Turbo) с использованием оптимизированного инференса (bf16 blocks, fused attention, torch.compile). Ниже приведены метрики скорости и памяти для базовой модели Budget3D-Idol (50 шагов):
| Бюджет | Токены | Время/объект | Ускорение | Пиковая память |
|---|---|---|---|---|
| 100% | 8,192 | 5.67 s | 1.00× | 9.9 GB |
| 90% | 7,373 | 5.15 s | 1.10× | 9.6 GB |
| 80% | 6,554 | 4.59 s | 1.24× | 9.2 GB |
| 70% | 5,734 | 4.10 s | 1.39× | 8.9 GB |
| 60% | 4,915 | 3.60 s | 1.58× | 8.5 GB |
| 50% | 4,096 | 3.18 s | 1.79× | 8.2 GB |
| 40% | 3,277 | 2.66 s | 2.14× | 7.8 GB |
Для версии Budget3D-Idol-Turbo (5 шагов) на GPU RTX PRO 6000 результаты еще более впечатляющие: при снижении бюджета до 40% время генерации одного объекта падает до 0.25 секунды, а ускорение достигает 1.95× по сравнению с полной версией.
Практическое значение
Дополнительное декодирование в гауссовы сплейты и рендеринг добавляют примерно 3 секунды к каждому объекту независимо от выбранного бюджета. Однако общая экономия вычислительных ресурсов делает метод особенно привлекательным для приложений, требующих высокой пропускной способности или работающих на ограниченном оборудовании. Исследование демонстрирует, что качество 3D-генерации можно гибко масштабировать под доступные вычислительные мощности без необходимости переобучения моделей.
Источник: Github ↗
