Проблема стилистического переписывания
Оптимизация промптов (prompt optimization) часто приводит к парадоксу: глобальная текстово-визуальная схожесть остается высокой, но детальные атрибуты объектов и их взаимосвязи размываются. Традиционные методы стилистического переписывания ослабляют семантическую точность, заставляя модели «угадывать» контекст. Авторы работы предлагают решение, которое превращает структурную обратную связь в обучающий сигнал для переиспользуемой политики редактирования.
Архитектура StruPO
Ключевое нововведение — использование калиброванного графа сцен (scene graph) как общей репрезентации для условной политики и обучения с опорой на изображение. Граф четко фиксирует, какие элементы сцены должны быть сохранены. Модификация промпта происходит через три операции, выровненные по токенам: удаление, перестановку и вставку. Это позволяет избежать итеративных циклов «критика-переписывания», генерируя оптимизированный текст за один проход после калибровки графа.
Методология и обучение
Обучение модели требует работы с неопределенностью привязки (grounding) и стохастичностью генерации. StruPO сохраняет уверенность в привязке объектов через сглаживание функции вознаграждения (reward shaping). Для вычисления преимуществ (advantages) модель усредняет несколько сгенерированных изображений для каждого редактирования, используя групповые относительные преимущества. Это нивелирует шум, присущий диффузионным моделям.
Результаты бенчмарков
Эксперименты проводились на трех независимых наборах тестовых промптов (2K промптов каждый) и четырех замороженных генеративных бэкбондах. StruPO сравнивали с обученными оптимизаторами промптов, итеративной структурной обратной связью, дообучением диффузионных моделей и контролем внимания на этапе инференса. Метрика «верность-эстетика» (faithfulness-aesthetics trade-off) показала стабильный рост, особенно в отношении сохранности связей между объектами.
| Метрика / Аспект | Результат StruPO | Сравнение с базовыми методами |
|---|---|---|
| Relational Fidelity (Точность связей) | Последовательный рост | Превосходит итеративную обратную связь и контроль внимания |
| Human Preference (Предпочтение людей) | Рост с усложнением отношений | 15 аннотаторов отметили явное преимущество в сложных сценах |
| Efficiency (Эффективность) | One-pass generation | Отсутствие итеративных циклов критики-переписывания |
| Scalability (Масштабируемость) | 3 набора по 2K промптов | Работает на 4 разных замороженных бэкбондах |
Значение для индустрии
Работа демонстрирует, что переход от текстовой оптимизации к структурному контролю (через графы сцен) позволяет создавать более надежные системы генерации. Контрольные аблиации подтверждают, что именно условность графа, локальное редактирование и обучение с опорой на изображение являются драйверами успеха. Это открывает путь к созданию редакторов промптов, которые не просто улучшают эстетику, но и гарантируют соблюдение сложных семантических инструкций пользователя.
Источник: arXiv cs.AI ↗