T-RoPE: Время стало ключом к точности рекомендательных систем

Проблема стандартного RoPE в рекомендациях

В то время как большие языковые модели (LLM) успешно используют Rotary Position Embedding (RoPE) для понимания относительного порядка токенов, в рекомендательных системах этот подход имеет критический недостаток. Стандартный RoPE кодирует только индекс взаимодействия, игнорируя реальное время. Это означает, что модель не может различить сезонность, временные циклы поведения пользователя или фазы календаря, оставаясь инвариантной к временным сдвигам (time-translation invariant).

Решение: T-RoPE

Авторы (Yang Liu, Noel Loo и др.) предлагают T-RoPE — временную осознанную версию RoPE. Ключевые архитектурные изменения включают:

• Замену индексной ротации на углы, основанные на временных метках (timestamps).
• Введение обучаемых временных коэффициентов.
• Использование банков частот для нескольких масштабов (multiscale frequency banks).
• Применение нестационарной ротации ключей (non-stationary key rotation) и смещенной синхронизации запросов.

Результаты на публичных и промышленных датасетах

Метод T-RoPE показал лучшие результаты по всем метрикам на пяти публичных бенчмарках. Особый интерес представляют результаты на разреженных данных PixelRec и Amazon Books, а также на промышленном датасете электронной коммерции с более чем 6 миллиардами взаимодействий.

Практическая применимость

Несмотря на сложность архитектуры, авторы доказали, что добавленные вычислительные затраты являются линейными относительно длины последовательности и размерности головы (head dimension). Это делает T-RoPE практичным для внедрения в крупные генеративные рекомендательные системы без катастрофического роста latency. Алгоритмы прямого и обратного распространения уже предоставлены для реализации.

Источник: arXiv cs.AI ↗