结论

• 倾向模型能把会复购的客户排到前面：时间外 AUC 0.79，前 10% 的复购率 90%，是整体的 2.5 倍。
• 但一条「近一年订单数」的规则就能做到 0.78，模型只多出约 0.01。上线前应该先问：多出来的这点准确度，值不值得维护一个模型。
• 换到 9 月时点（临近旺季），实际复购率从 37% 升到 50%，模型的概率整体偏低：排序还能用，概率本身需要重新校准，不能直接拿来算预算。
• 随机实验上看，分数最高的 10%，发邮件后访问率 28%，但不发也有 20%——邮件真正带来的只有 +8.2pp。如果把这 10% 的访问都算成活动效果，会高估约 3.4 倍。
• 分数从高到低，「本来就会来」的比例从 20% 降到 3%，而增量只从 +8.2pp 降到 +3.7pp：分数主要在排「谁本来就会来」，而不是「谁会被邮件改变」。专门训练的增量模型在这份数据上也没有更好。
• 落地方式：倾向分用来排名单可以，但每次投放都要留随机对照组，按对照组算增量，而不是按名单里的响应率算功劳。