Яндекс выпустил Yambda-5B — крупнейший в мире датасет для рекомендательных систем

<p>Компания Яндекс анонсировала выпуск Yambda-5B — крупнейшего в мире открытого датасета для обучения рекомендательных систем. Состоящий из 4,79 миллиарда взаимодействий пользователей с 9,39 миллионами музыкальных треков, Yambda-5B предоставляет исследователям уникальные возможности для создания и тестирования алгоритмов персонализированных рекомендаций.</p> <p>Датасет включает два основных типа взаимодействий: <strong>неявную обратную связь</strong> (прослушивание треков) и <strong>явную обратную связь</strong> (лайки, дизлайки, отмены лайков и дизлайков). Для большинства треков предоставлены аудио-встраивания, полученные с помощью сверточной нейронной сети, обученной на аудиоспектрограммах. Особенностью Yambda-5B является наличие флага, который позволяет отличать органические действия пользователей от событий, вызванных рекомендациями. Это важно для разработки и оценки алгоритмов машинного обучения, поскольку Яндекс Музыка использует рекомендательные системы для персонализации выбора треков для пользователей.</p> <p>Для поддержки строгого бенчмаркинга разработан протокол оценки на основе <strong>Global Temporal Split</strong>, позволяющий оценивать алгоритмы рекомендаций в условиях, близких к реальному использованию. Были представлены результаты бенчмарков для стандартных базовых моделей (ItemKNN, iALS) и более сложных моделей (SANSA, SASRec) с использованием различных метрик оценки.</p> <p>Выпуск Yambda-5B предоставляет сообществу доступный промышленный ресурс для продвижения исследований, стимулирования инноваций и обеспечения воспроизводимости результатов в области рекомендательных систем.</p>