Проблема существующих метрик
Оценка качества генеративных моделей (GAN, Diffusion) долгое время опиралась на метрики вроде FID или KID, которые могут быть нестабильными или некорректно отражать качество в сложных сценариях. Inclusion AI предлагает альтернативу — Intrinsic Distribution Matching (IDM), метод, который фокусируется на intrinsic-свойствах распределений данных.
Суть метода: Score Matching и Гауссовы аппроксимации
В основе IDM лежит сравнение score functions (функций, описывающих градиент логарифма плотности распределения). Метод использует гауссовы аппроксимации для вычисления разницы между истинным распределением данных и сгенерированным. Ключевой компонент метрики — KL-дивергенция Гаусса ($\mathcal{V}_{\mathrm{KL}}^{\mathrm{G}}$), которая вычисляет расхождение между моментами распределений.
Математическая основа и компоненты
Метрика декомпозирует ошибку на составляющие, связанные с первыми и вторыми моментами распределения. Если распределения совпадают в пространстве координат, компонент, связанный с разницей score, исчезает. Это позволяет изолировать ошибки генерации, связанные именно с формой распределения, а не с артефактами вычислений.
| Компонент метрики | Описание | Условие обнуления |
|---|---|---|
| $\mathcal{V}_{\mathrm{KL}}^{\mathrm{G}}$ | KL-дивергенция между гауссовыми аппроксимациями | — |
| Means (Меры) | Разница средних значений распределений | Совпадение средних в одном пространстве |
| Covariances (Ковариации) | Разница ковариационных матриц | Совпадение ковариаций в одном пространстве |
Почему это важно для разработчиков AI
IDM предлагает более интерпретируемый подход к диагностике моделей. Вместо «черного ящика» разработчики получают четкое понимание того, где именно модель ошибается: в среднем значении генерируемых объектов или в их вариативности (ковариации). Это критически важно для тонкой настройки моделей в задачах компьютерного зрения и генерации изображений.
Где найти детали
Полное техническое описание метода, включая вывод формул и экспериментальные результаты, доступно на официальном сайте проекта Inclusion AI. Исследование подчеркивает важность intrinsic-подходов в оценке генеративных моделей, предлагая строгий математический аппарат для будущих бенчмарков.
Источник: Inclusion-ai ↗