COMPASS: Первый унифицированный контроль композиции в мультимодальных моделях

Проблема: разрыв между пониманием и созданием

Современные унифицированные мультимодальные модели (UMM) демонстрируют высокие результаты в общих задачах, но остаются ненадежными при тонкой настройке визуальной композиции. Проблема заключается в том, что модели могут «понимать» композицию, но не умеют эффективно преобразовывать это понимание в управляемую генерацию. Авторы работы из COMPASS предлагают решение, которое связывает восприятие и генерацию в единую систему.

Решение: токен-якорь τ_c

Ключевым нововведением COMPASS является использование общего экспертного токена τ_c (composition token). Этот токен выступает в роли центрального якоря намерения:

• На этапе восприятия (Perception): Компонент MoE (Mixture of Experts) с минимальным вмешательством извлекает экспертные знания о композиции и дистиллирует их в токен τ_c.
• На этапе генерации (Generation): Токен τ_c используется как глобальный сигнал условия, который направляет траекторию денормализации (denoising), превращая пассивный анализ в активный контроль макета.

Данные: датасет Comp-11

Для обучения и оценки способности моделей следовать инструкциям по композиции авторы создали масштабный датасет Comp-11. Он включает таксономию из 11 классов композиции и аннотации, обогащенные логическими рассуждениями (reasoning-augmented), что позволяет модели не просто классифицировать, но и объяснять структуру сцены.

Результаты и значимость

Эксперименты показывают, что COMPASS существенно улучшает понимание композиции на уровне категорий по сравнению с сильными базовыми моделями. Генерируемые изображения становятся более согласованными с заданной композицией и точнее следуют текстовому запросу (prompt-faithful). Это первый шаг к созданию систем, которые могут управлять не только объектами, но и их пространственным расположением и организацией сцены.

Источник: arXiv cs.AI ↗