FINDERS: Диффузионные модели для репрезентации пользователей

Проблема статических репрезентаций

Традиционные пользовательские энкодеры на базе LLM используют авторегрессионное (AR) сжатие гетерогенных логов в статические векторы. Этот односторонний процесс ограничивает двусторонний поток информации и не позволяет эффективно сохранять мультимодальные сигналы. В результате модель не может адаптироваться к разным сценариям, требующим различных доказательств (evidence) из поведения пользователя.

Решение: FINDERS и BehaviorQA

Авторы (Junru Zhang, Jinyong Wen и др.) предлагают использовать итеративный процесс денойзинга диффузионных языковых моделей как пространство реконструкции. Архитектура FINDERS включает четыре этапа: denoise (денойзинг), factorize (факторизация), route (маршрутизация) и compress (сжатие). Ключевым нововведением является использование обучаемых мета-слотов (meta-slots) для организации семантики и легковесного роутера, который динамически выделяет релевантные направления на основе сценарного запроса.

Для обучения также создан корпус BehaviorQA, содержащий явные поведенческие обоснования (rationales), что обеспечивает надежный контроль качества.

Результаты и метрики

Метод демонстрирует стабильное превосходство над state-of-the-art решениями как в унифицированных, так и в сценарно-адаптивных настройках. Тестирование проводилось на 10 промышленных сценариях, включая онлайн A/B тесты.

Значение для индустрии

Работа FINDERS расширяет границы применения dLLM за пределы генерации текста, доказывая их потенциал как мощных инструментов для обучения репрезентаций пользователей. Это открывает путь к более точным рекомендательным системам, способным учитывать контекст запроса в реальном времени.

Источник: arXiv cs.AI ↗