Проблема ложной оптимизации
В маркетинге и науке о данных критически важно правильно ранжировать клиентов для распределения ограниченного бюджета. Идеальный рейтинг основан на CATE (Conditional Average Treatment Effect) — ожидаемой пользе от контакта. Однако на практике мы используем оценочные модели, которые неточны. Главная проблема: метрика Qini, часто используемая для оценки качества таких моделей, может присвоить более высокий балл «неидеальной» модели, чем истинному ранжированию по CATE. Выбор модели по Qini в таком случае приводит к снижению реального причинно-следственного выигрыша (causal gain).
Синтетический эксперимент: 1 миллион клиентов
Авторы провели симуляцию на выборке из 1 000 000 клиентов с параметрами: возраст, доход, прошлые траты и время с последнего контакта. Вероятность получения лечения (маркетингового сообщения) зависела от возраста и активности, создавая селективное назначение (confounding). Средний propensity score составил 0.5, но распределение было неравномерным.
Были протестированы 6 моделей (от S-learner до DML-learner) на отложенной выборке (holdout) из 300 000 клиентов. Ключевой вывод: даже при калибровке метрик, Qini продолжала отдавать предпочтение линейной DR-модели перед истинным CATE, тогда как метрика «известного причинного выигрыша» (known causal gain) корректно выделяла истинный эффект.
Сравнение метрик и моделей
Ниже приведены результаты калиброванных оценок для истинного ранжирования (True CATE) и линейной DR-модели (Linear DR learner). Обратите внимание на расхождение между показателями Qini и реального причинного выигрыша.
| Модель / Ранжирование | Calibrated Qini | Known Causal Gain (Реальный эффект) |
|---|---|---|
| True Effect (CATE) | 0.0826 | 0.0825 |
| Linear DR learner | 0.0856 | 0.0809 |
Как видно из таблицы, Linear DR learner показывает лучший результат по Qini (0.0856 против 0.0826), но при этом имеет меньший реальный причинный выигрыш (0.0809 против 0.0825). Это доказывает, что Qini содержит остаточную bias из-за селективного назначения лечения.
Почему Qini недостаточно?
Простого учета confounding в модели недостаточно. Если вероятность назначения лечения зависит от характеристик клиента (propensity score $e(x)$), метрика оценки также должна корректироваться. Qini не всегда справляется с этой задачей, игнорируя то, как выборка была сформирована. Авторы рекомендуют использовать IPW (Inverse Propensity Weighting) и Doubly Robust (DR) оценки, которые учитывают как модель исхода, так и модель назначения лечения, обеспечивая более надежную оценку эффективности.
Вывод для индустрии
При оценке Uplift-моделей нельзя полагаться исключительно на Qini, особенно в условиях сильного confounding. Использование Doubly Robust метрик позволяет избежать выбора субоптимальных моделей, которые кажутся эффективными по стандартным метрикам, но приносят меньшую реальную прибыль компании.
Источник: Towards Data Science ↗
