LightCRS: мультидоменная рекомендация с задержкой в 266 раз ниже

Проблема масштабирования VLM

Современные диалоговые рекомендательные системы (CRS) активно используют мультимодальные модели (VLM) для сопоставления намерений пользователя с товарами. Однако при расширении на множество категорий возникает дилемма: развертывание отдельной адаптированной VLM для каждого домена линейно увеличивает затраты, а попытка объединить все категории в одну модель приводит к падению точности из-за различий в характеристиках товаров.

Архитектура LightCRS

Авторы предлагают решение LightCRS — легковесную, управляемую запросом архитектуру. Ключевые особенности:

• Оффлайн-предвычисление: мультимодальные представления товаров вычисляются один раз с использованием замороженных энкодеров.
• Онлайн-фьюжн: компактный модуль с 5.3 млн параметров объединяет доказательства для каждого диалога через cross-attention, зависящее от запроса.
• Общие параметры: параметры модуля разделяются между всеми доменами, что исключает необходимость маршрутизации запросов к разным моделям.
• Сравнение кандидатов: используется интер-кандидатный Transformer для совместного сравнения вариантов.

Новый бенчмарк MM-R2A-25

Для строгой оценки качества авторы создали датасет MM-R2A-25, включающий 25 доменов. Датасет формирует пары из естественных рекомендаций с Reddit и списков товаров Amazon, что позволяет тестировать систему в реалистичных сценариях поиска.

Результаты и метрики

LightCRS демонстрирует state-of-the-art результаты по основным метрикам (HR@1, NDCG@5, MRR). Важнейшим достижением является радикальное снижение задержки при сохранении высокой точности. Сравнение с сильными базовыми моделями показывает следующие преимущества:

Результаты подтверждают, что совместное обучение на множестве доменов само по себе повышает точность на 15.2% по сравнению с обучением отдельных моделей для каждой категории, делая LightCRS оптимальным выбором для высоконагруженных систем рекомендаций.

Источник: arXiv cs.AI ↗