Проблема жестких бенчмарков
Классическая оценка систем поиска (Retrieval) опирается на категориальные метки: если запрос — «Готика», а результат — «Романский стиль», система получает 0 баллов. Однако визуальное сходство (камни, арки, пропорции) может быть высоким. Автор статьи приводит аналогию с поиском Ferrari: система может предложить Lamborghini (визуально похоже) или Ferrari SUV (по бренду похоже). Бенчмарк на основе меток назовет Lamborghini ошибкой, хотя для пользователя это может быть релевантным результатом.
Эксперимент с архитектурой
Для проверки гипотезы использовалась модель CLIP (Contrastive Language–Image Pre-training) и датасет Kaggle. Исследование фокусируется на том, являются ли «несовпадения меток» случайными шумами или осмысленными семантическими связями.
- Датасет: 9 315 изображений.
- Категории: 23 архитектурных стиля (исключены древние памятники, оставлены жилые здания).
- Метрика: Cosine Similarity между 512-мерными эмбеддингами изображений.
Результаты и анализ
Проекция эмбеддингов через PCA (21,3% дисперсии) показывает сильное пересечение кластеров разных стилей. Это подтверждает, что CLIP видит сходства, которые не улавливаются жесткими категориями. Например, готические и романские здания часто имеют схожие материалы и конструктивные элементы, что делает их близкими в векторном пространстве, несмотря на разные лейблы.
| Параметр | Значение / Описание |
|---|---|
| Модель | CLIP (Vision Transformer) |
| Размерность эмбеддинга | 512 |
| Количество изображений | 9 315 |
| Количество классов | 23 архитектурных стиля |
| Метрика релевантности | Precision@1, Precision@5, Precision@10 (на основе меток) |
| Метрика сходства | Cosine Similarity |
Вывод для индустрии
Статья ставит под сомнение адекватность традиционных метрик Precision@k, основанных исключительно на совпадении категорий. Если система находит объекты со схожими визуальными и семантическими признаками, но разными лейблами, это не всегда ошибка. Это может указывать на то, что наши критерии оценки слишком ригидны и не учитывают градиентную природу визуального сходства.
Источник: Towards Data Science ↗