worldbench/DiffusionOPSD

Что это за инструмент

DiffusionOPSD — это метод постобучения диффузионных моделей, использующий он-политику и самодистилляцию для улучшения качества генерации изображений на основе внешних наград.

Зачем нужен

Инструмент решает проблему разрыва в обучении, когда оценка качества (reward) доступна только после завершения многошагового процесса денормализации. Он создает явные целевые объекты для промежуточных предсказаний, что позволяет модели учиться на основе конкретных примеров, улучшая финальный результат и снижая затраты GPU-времени.

Что можно реализовать

• Постобучение моделей SD3.5-M для повышения качества изображений 512x512 с использованием наградных моделей
• Оптимизация генерации в режиме few-step для Z-Image-Turbo при разрешении 1024x1024
• Использование открытых оценщиков (например, PickScore) для направленной генерации через reward-ascent
• Снижение вычислительных затрат при дообучении диффузионных моделей за счет оптимизированного рецепта v2

Ключевые возможности

• Он-политика сбора данных: обучение строится на состояниях, посещаемых текущей поведенческой политикой
• Явные целевые объекты: нормализованный восход и спад награды формируют ограниченные положительные и отрицательные цели
• Разделение процессов: графы наград и декодера отбрасываются перед подгонкой политики, изолируя качество целей
• Регенерация через EMA: поведенческая политика обновляется методом экспоненциального скользящего среднего между обновлениями
• Высокая эффективность: снижение времени обучения на 30.5-63% по сравнению с предыдущими методами (DiffusionNFT)

👤 Кому подойдёт: Исследователи в области генеративных моделей, ML-инженеры, работающие с диффузионными архитектурами и оптимизацией обучения с подкреплением