Суть проблемы: «Сжатие» активаций
Дистилляция диффузионных моделей в быстрые 4-шаговые студенты (few-step students) резко снижает задержку генерации, но приводит к катастрофической потере разнообразия: при разных случайных семенах (seeds) модель выдает практически идентичные результаты. Авторы исследования ReDiverse провели анализ внутренних представлений (activations) и выявили корень зла.
Выяснилось, что суммарная дисперсия активаций у «студента» остается на уровне учителя или даже превышает её, но эта дисперсия сжимается в значительно меньшее количество направлений. Это явление, названное directional collapse, локализуется в промежуточном блоке первого шага денормализации. Проще говоря, модель не теряет способность генерировать, она просто «забывает» использовать все доступные векторы вариативности.
Решение ReDiverse: Два подхода к восстановлению
Метод ReDiverse предлагает два способа вернуть утраченные направления дисперсии, воздействуя только на первый шаг денормализации:
- ReDiverse-FT (Fine-Tuning): Легковесная дообучка адаптера LoRA. Активации студента регрессируются на активации учителя для каждого из 16 случайных шумов, что переносит характер вариативности учителя.
- ReDiverse-TF (Training-Free): Метод без обучения. Для каждого промпта проводится PCA по активациям учителя (на 25 шумах), вычисляются главные направления. Затем в активации студента добавляется случайная компонента вдоль этих направлений. Это позволяет мгновенно восстановить разнообразие без изменения весов модели.
Результаты: Закрытие разрыва с учителями
Эксперименты проводились на популярных моделях SDXL, SD3, Wan 2.1 и MiniMax-H3. Метрика DINO (расстояние между парами изображений, где выше — лучше) показала, что ReDiverse практически полностью закрывает разрыв в разнообразии между быстрым студентом и многошаговым учителем, сохраняя при этом качество генерации (CLIPScore) на уровне базового студента.
| Метод | SDXL | SD3 | Wan 2.1 | MiniMax-H3 |
|---|---|---|---|---|
| Student (4 steps) | 59.4 | 48.4 | 31.6 | 36.5 |
| ReDiverse-TF | 60.1 | 53.8 | 34.6 | 42.2 |
| ReDiverse-FT | 64.6 | 53.5 | 46.8 | 44.1 |
| ReDiverse (Full) | 65.0 | 60.1 | 52.2 | 50.9 |
| Teacher (multi-step) | 66.3 | 61.6 | 51.6 | 52.5 |
Как видно из таблицы, полный метод ReDiverse (комбинация FT и TF) достигает 98-100% от разнообразия учителя на разных архитектурах, при этом сохраняя скорость генерации 4-шагового студента.
Почему это важно
Ранее попытки исправить коллапс разнообразия (например, DP-DMD или Noise Optimization) требовали либо пере-дистилляции, либо ресурсоемкой оптимизации шумов на этапе инференса. ReDiverse демонстрирует, что проблема решается на уровне архитектуры активаций. Это открывает путь к созданию быстрых генераторов, которые не жертвуют креативностью ради скорости, что критично для видеогенерации и интерактивных приложений.
Источник: Github ↗
