作品说明

倾向模型与增量验证

倾向分排的是「谁本来就会来」，增量要靠对照组算

在 UCI Online Retail II 上做 90 天复购倾向模型并按时间外数据验证，再用 Hillstrom 随机邮件实验看：分数高的名单里，有多少人不联系也会来。

这个 Demo 做什么

第一部分：在 2010 年 4 个时点训练、一年后的 2011-06 时点测试，LightGBM 的时间外 AUC 0.79，分数前 10% 的复购率 90%（整体 37%）；但「近一年订单数」一条规则就有 0.78，到 9 月旺季前概率整体偏低，需要重新校准。第二部分：Hillstrom 随机实验的留出一半上，按响应模型分数排序，前 10% 发邮件后访问率 28%，不发也有 20%，邮件只带来约 8 个百分点；从高到低，「本来就会来」的比例从 20% 降到 3%，增量只从 8 降到 4 个百分点，专门的增量模型也没有更好。结论：倾向分可以排名单，但每次投放都要留随机对照组，按对照组算增量。

典型使用场景

CRM 名单与经销商下发

按复购倾向排序名单，并用时间外数据验证一年后是否还有效。

活动效果怎么算

名单的响应率不是活动效果；用随机对照组算每一档的真实增量。

模型值不值得上线

和一条简单规则比，模型多出来的准确度是否值得维护成本。