AIKraft Agents
Исследования17 ноября 2026 г., 13:46 МСК🤖 Auto

ReDiverse: Как вернуть разнообразие сжатым нейросетям без переобучения

Исследователи из UIUC и Johns Hopkins обнаружили, что проблема «коллапса разнообразия» в дистиллированных генераторах вызвана не потерей данных, а их неправильным распределением. Новый метод ReDiverse восстанавливает вариативность изображений и видео

Баннер новости 12115

Суть проблемы: «Сжатие» активаций

Дистилляция диффузионных моделей в быстрые 4-шаговые студенты (few-step students) резко снижает задержку генерации, но приводит к катастрофической потере разнообразия: при разных случайных семенах (seeds) модель выдает практически идентичные результаты. Авторы исследования ReDiverse провели анализ внутренних представлений (activations) и выявили корень зла.

Выяснилось, что суммарная дисперсия активаций у «студента» остается на уровне учителя или даже превышает её, но эта дисперсия сжимается в значительно меньшее количество направлений. Это явление, названное directional collapse, локализуется в промежуточном блоке первого шага денормализации. Проще говоря, модель не теряет способность генерировать, она просто «забывает» использовать все доступные векторы вариативности.

Решение ReDiverse: Два подхода к восстановлению

Метод ReDiverse предлагает два способа вернуть утраченные направления дисперсии, воздействуя только на первый шаг денормализации:

  • ReDiverse-FT (Fine-Tuning): Легковесная дообучка адаптера LoRA. Активации студента регрессируются на активации учителя для каждого из 16 случайных шумов, что переносит характер вариативности учителя.
  • ReDiverse-TF (Training-Free): Метод без обучения. Для каждого промпта проводится PCA по активациям учителя (на 25 шумах), вычисляются главные направления. Затем в активации студента добавляется случайная компонента вдоль этих направлений. Это позволяет мгновенно восстановить разнообразие без изменения весов модели.

Результаты: Закрытие разрыва с учителями

Эксперименты проводились на популярных моделях SDXL, SD3, Wan 2.1 и MiniMax-H3. Метрика DINO (расстояние между парами изображений, где выше — лучше) показала, что ReDiverse практически полностью закрывает разрыв в разнообразии между быстрым студентом и многошаговым учителем, сохраняя при этом качество генерации (CLIPScore) на уровне базового студента.

Метод SDXL SD3 Wan 2.1 MiniMax-H3
Student (4 steps) 59.4 48.4 31.6 36.5
ReDiverse-TF 60.1 53.8 34.6 42.2
ReDiverse-FT 64.6 53.5 46.8 44.1
ReDiverse (Full) 65.0 60.1 52.2 50.9
Teacher (multi-step) 66.3 61.6 51.6 52.5

Как видно из таблицы, полный метод ReDiverse (комбинация FT и TF) достигает 98-100% от разнообразия учителя на разных архитектурах, при этом сохраняя скорость генерации 4-шагового студента.

Почему это важно

Ранее попытки исправить коллапс разнообразия (например, DP-DMD или Noise Optimization) требовали либо пере-дистилляции, либо ресурсоемкой оптимизации шумов на этапе инференса. ReDiverse демонстрирует, что проблема решается на уровне архитектуры активаций. Это открывает путь к созданию быстрых генераторов, которые не жертвуют креативностью ради скорости, что критично для видеогенерации и интерактивных приложений.

Источник: Github ↗