Проблема «узкого горлышка» в рекомендательных системах
В современных многоэтапных системах рекомендаций (RecSys) первая стадия (retriever) должна быстро отобрать релевантные товары из миллионов кандидатов. Однако из-за вычислительных ограничений в следующую, более дорогую стадию (ranking) попадает лишь короткий префикс списка. Главная метрика здесь — Recall@k: способность найти релевантный предмет в этом коротком списке. Часто нужный товар находится глубже в списке, но не доходит до финального ранжирования.
Решение: Универсальный генеративный верификатор
Авторы работы (Benyu Zhang, Qiang Zhang и соавторы) предложили метод post-hoc verification (пост-фактум верификации). Идея проста: вместо переобучения или замены самого retriever, используется легковесный генеративный верификатор. Он оценивает вероятность токенов идентификатора кандидата, используя состояние запроса от retriever.
Ключевые особенности метода:
- Обучение без негативных выборок: Верификатор обучается на next-token cross entropy только на топ-K кандидатах, без необходимости генерировать сложные негативные примеры.
- Универсальность: Метод не зависит от архитектуры базового retriever и работает с любой фиксированной токенизацией.
- Минимальный интерфейс: Retriever предоставляет состояние запроса, а верификатор просто пересчитывает скоры.
Результаты: YaMBDa против Amazon
Исследователи протестировали подход на двух крупных датасетах: Amazon Product и YaMBDa (музыкальный датасет Яндекка). Оказалось, что один и тот же рецепт обучения верификатора улучшает Recall@10 для четырех разных архитектур: SASRec, GRU4Rec, NextItNet и MiniOneRec.
Особенно примечательно, что на музыкальном датасете Яндекка метод показал выдающиеся результаты, сделав YaMBDa «фаворитом» для мировых экспериментов в области генеративного ранжирования. Аблиационные исследования подтвердили, что улучшение связано именно с механизмом верификации, а не просто с добавлением контентных признаков.
| Метрика / Архитектура | Amazon Product | YaMBDa (Яндекс) |
|---|---|---|
| Базовый SASRec | Улучшение Recall@10 | Улучшение Recall@10 |
| Базовый GRU4Rec | Улучшение Recall@10 | Улучшение Recall@10 |
| Базовый NextItNet | Улучшение Recall@10 | Улучшение Recall@10 |
| Базовый MiniOneRec | Улучшение Recall@10 | Улучшение Recall@10 |
Почему это важно для индустрии
Работа демонстрирует, что YaMBDa стал не просто внутренним инструментом Яндекса, а ключевым стандартом для валидации новых методов ранжирования. Использование легковесного генеративного верификатора позволяет значительно повысить качество рекомендаций без перестройки всей инфраструктуры retriever-ов, что критично для крупных платформ с миллионами пользователей.
Источник: Arxiv ↗