Проблема: Статичные правила против дрейфа поведения
Поведенческие кластеры, обученные на взаимодействиях пользователей, нестабильны: они фрагментируются, сливаются или исчезают. Традиционные подходы к их поддержке делятся на два типа:
- Threshold triggers: Жесткие пороги, запускающие действие при пересечении статистической границы.
- Refit-and-track (MONIC): Постоянное перекластеризование с выводом переходов между окнами.
Оба метода «зашиты» в код и не адаптируются к контексту. Авторы предлагают заменить их LLM, которая принимает решения на основе «здоровья» кластера, его меток и текстовых остатков.
Методология: Policy-Conditioned LLM
Ключевая идея — использование richness-conditioned policy. Выбор модальности данных для LLM зависит от информативности меток:
- При низкой уникальности меток используются только статистические данные.
- При высокой уникальности — семантические данные (тексты) или их комбинация.
LLM принимает решения per cluster: split (разделить), merge (объединить), retire (закрыть), create (создать) или no-action.
Результаты: F1, P-value и экономия ресурсов
Эксперименты проведены на трех датасетах с разной «богатостью» меток. LLM-подход показал наивысший F1-score при значительно меньшем количестве вмешательств по сравнению с базовыми линиями. Статистическая значимость подтверждена тестом Уилкоксона (paired Wilcoxon p ≤ 0.003).
| Датасет | Уровень богатства меток (Label Richness) | Лучшая модальность для LLM | Результат |
|---|---|---|---|
| YooChoose | 0.17 (Низкий) | Статистика | Высокий F1, семантика вредит |
| MOOC | 0.50 (Средний) | Фьюжн (Стат+Семантика) | Нейтральный эффект семантики |
| News-Category | 0.70 (Высокий) | Семантика | Семантика необходима для точности |
Почему это важно для индустрии
Главное преимущество — переносимость (transferability). Один базовый prompt-шаблон и фиксированная политика работают на всех трех датасетах. В то же время, настроенные эвристики (пороги) «ломаются» при смене домена. Прирост качества достигается преимущественно за счет повышения Precision (точности), что критично для систем, где ложные срабатывания дороги.
Источник: arXiv cs.AI ↗
