Pullback Directions: новый метод диверсификации Diffusion без дообучения

Проблема: «Застывшие» случайные семена

Условные диффузионные модели (Conditional Diffusion Models) стали стандартом для генерации изображений, но сталкиваются с фундаментальной проблемой: при изменении случайного семени (seed) результаты часто остаются визуально идентичными. Это ограничивает креативный поиск и заставляет пользователей тратить время на ручной подбор параметров или использование тяжелых методов оптимизации, которые могут исказить изображение или нарушить соответствие промпту.

Решение: Геометрия Pullback

Авторы из команды Sylvain Dehayem Kenfouo, Aaron Zweig, Mingxuan Zhang и Elham Azizi предлагают метод Controllable Diverse Sampling through Pullback Directions. Ключевая идея заключается в анализе локальной геометрии, индуцированной отображением из пространства вложений условий (conditioning-embedding space) в пространство изображений. Метод идентифицирует направления максимальной чувствительности вывода (output sensitivity) и направляет траектории сэмплирования вдоль них. Это позволяет получать существенно разные результаты при сохранении строгого соответствия исходному текстовому описанию.

Технические детали и преимущества

Метод является training-free (не требует дообучения модели), что делает его универсальным дополнением к существующим архитектурам. В отличие от подходов, требующих дополнительных вычислительных затрат на этапе сэмплирования или внедрения сильных возмущений, новый подход использует внутреннюю структуру модели для навигации по латентному пространству.

Результаты экспериментов

Эффективность метода проверена на стандартных бенчмарках MS-COCO и в задаче inpainting с использованием BrushNet. Результаты подтверждают значительное улучшение метрик разнообразия (diversity) генераций без деградации качества изображений (FID) или потери семантической точности (CLIP score). Работа принята к публикации на воркшопе DynaFront конференции NeurIPS 2026.

Источник: arXiv cs.AI ↗