实验与增长 · 工作项目，御越（2022 – 至今）

Benefits-Voucher Growth Experiment

企业福利卡券增长实验

企业客户的福利卡券发出去了，员工却不用。运营的直觉是给所有人发提醒、加补贴。真正的问题是：到底什么在驱动核销？补贴花得值不值？

关键指标

5,000 人

福利卡券活动覆盖员工数

6 步 Funnel

发放 → 触达 → 访问 → 领取 → 核销 → 履约

31.2%

领取后 14 天核销率（活动基准锚点）

+6.2pp

到期提醒带来的核销提升，28.6%→34.8%（随机实验，p=0.035）

对已访问未核销人群做的三组随机实验，结果和「全员补贴」的运营直觉相反。

直觉：给所有人发提醒 + 加补贴	证据：提醒本身贡献了 +6.2pp，补贴只多带来 +2.3pp
假设：奖励金额越大，核销越多	证据：奖励效果 p=0.44，远低于实验设计的 ~8pp MDE——当前样本量根本测不出来
默认决策：给全部 5,000 人补贴	实际决策：分层发提醒，把补贴预算留给真正值得投入的人群

第三方福利平台先采购卡券，再按核销结果结算——核销率低会带来三重损失：未实现收入、被占用的采购资金，以及不可退卡券的过期损失。目标不是不计成本地拉高核销率，而是在预算、投诉与履约产能护栏下，最大化增量贡献毛利。

对约 1,500 名已访问未核销用户分三组（每组约 500 人），含 SRM 检查（chi²=0.005，p=0.997）与实验前平衡检查。主指标为 14 天有效核销率，用双样本比例 z 检验与 95% 置信区间读数。

Control	28.6%	基线
Reminder	34.8%	绝对 +6.2pp（p=0.035），95% CI [+0.4pp, +12.0pp]——每 500 人约 31 个增量核销者
Reminder + Reward	37.1%	较 Reminder 仅 +2.3pp（p=0.44，不显著）——当前样本量下证据不足，不支持全量补贴

1.数据层 — 打通 enterprise / campaign / user / coupon / order 的关联链路，明确各分析粒度（用户级 Funnel、卡券实例级库存、订单级核销、独立的实验分组表）
2.漏斗层 — 发放成功率、触达率、访问率、领取率、14 天核销率、预算使用率与履约率，按企业、权益类型与用户活跃度拆解，每一步都对比内部健康线，自动标出最大漏点
3.分层层 — 历史活跃度分群（New/Low/Medium/High）与规则化行为状态分层（已访问未核销、已触达未访问、沉睡、履约风险……）交叉，把每群用户路由到不同运营动作
4.实验层 — 对已访问未核销人群按用户随机分三组；SRM 检查、实验前平衡、护栏指标（客诉、退款）
5.读数层 — 双样本比例 z 检验、95% 置信区间、绝对/相对 Lift、增量核销者，外加按活跃度分群的异质性分析
6.策略模拟 — 在预算约束下比较增量贡献与干预成本，并算出单人补贴的盈亏平衡点
7.工具层 — 指标字典、标准 SQL 与活动复盘模板沉淀为自动化报告及受控 ChatBI 原型（白名单 SQL、只读查询、字段权限、结果校验）

Funnel 诊断

六步 Funnel，自动按健康线差距排序的漏点表，并支持按部门与权益类型拆解。

Cohort 分析

历史活跃度分群与核销速度（D1/D3/D7/D14 占最终核销者比例）。

用户分层

8 个规则化行为分层与活跃度分群交叉，每个分层对应具体运营动作。

实验读数

SRM 检查、带置信区间的双样本比例 z 检验、分群异质性与护栏指标（客诉、退款）。

策略模拟

可交互调节触达人数、Lift 与成本假设，实时算出增量贡献、净值与盈亏平衡奖励额。

客户与员工数据全程保密、从不展示——上方交互工作台里的每一个数字，都是在按真实项目口径（漏斗转化率、实验 Lift、分层人数）校准的合成数据集上重新算出来的，不是真实客户记录
+6.2pp 的提醒效果是随机实验结果；分层触达带来的预算效率提升来自基于实验的离线策略模拟，仍需在新活动 Holdout 中验证
Reminder+Reward 组点估计更高，但当前样本量下证据不足——诚实的结论是对奖励敏感分层重测，而不是直接上补贴
Funnel 只能定位转化掉在哪一步，不能单独证明原因——原因通过分层与实验验证，而非直接假设
个体级 Uplift 建模（T-Learner、Qini/AUUC）在源项目里是可选的离线模块，不是已上线的生产系统——单次 1,500 人的实验支撑不了这个结论