Проблема «визуальной тождественности»
Традиционно системы компьютерного зрения оцениваются по способности точно идентифицировать объект (класс). Однако для задач рекомендаций, поиска рецептов и замены ингредиентов важна не просто идентичность, а реляционное сходство: насколько два блюда «похожи» в контексте кулинарной семьи. Исследование, опубликованное в arXiv (27 октября 2026 года), ставит под сомнение надежность текущих подходов, используя индийскую кухню как сложный тест-кейс.
Индийская кухня выбрана не случайно: здесь визуально похожие блюда могут иметь разное происхождение, а блюда одной кулинарной семьи (например, разные виды карри или самос) могут выглядеть совершенно по-разному. Это создает идеальные условия для проверки того, как нейросети организуют еду в «соседства» (neighborhoods).
Методология: 7 моделей и датасет Khana
Авторы (Saransh Kumar Gupta, Akshadha Sharma, Lipika Dey, Partha Pratim Das, Ramesh Jain) использовали расширенный датасет Khana и протестировали семь предобученных визуальных представлений. В выборку вошли модели разных архитектур:
- Сверточные сети (CNN)
- Трансформеры (Vision Transformers)
- Самообучаемые модели (Self-supervised)
- Модели, выровненные по тексту и изображению (Image-text aligned)
Ключевым этапом стало не просто сравнение точности классификации, а анализ того, как агрегация изображений на уровне блюда (dish-level) формирует общую визуальную структуру и как она соотносится с сходством, выведенным из рецептов.
Ключевые результаты: Разрыв между «видом» и «смыслом»
Исследование выявило существенные расхождения в том, как разные модели группируют блюда. На уровне отдельных изображений (image-level) соседства сильно варьируются, включая пересечения границ кулинарных семей. Однако при агрегации до уровня блюда структура становится более стабильной, но... она слабо коррелирует с кулинарным сходством.
Это означает, что модель может считать два блюда визуально похожими, хотя по рецепту они совершенно разные, и наоборот. Точность распознавания (recognition performance) не является достаточным индикатором того, насколько хорошо модель понимает реляционную структуру еды.
Почему это важно для индустрии
Для разработчиков food-tech, сервисов доставки и рекомендательных систем вывод однозначен: сходство еды не является фиксированным свойством коллекции. Оно зависит от выбранного представления (representation), модальности и уровня абстракции.
Чтобы создать по-настоящему умные системы рекомендаций или поиска замен ингредиентов, необходимо комбинировать несколько модальностей (визуальной, текстовой, рецептурной), а не полагаться исключительно на визуальные эмбеддинги. Понимание этих структур — обязательное условие для создания когерентной системы сходства продуктов питания.
Источник: arXiv cs.AI ↗