新功能上线决策
在产品评审前生成标准化实验读数,避免只看 p-value 的片面判断。
给定用户级实验 CSV,系统先检查样本分配与 SRM 风险,再对主指标做双比例 z 检验和 95% CI,对收入、参与度、页面性能等护栏指标做 Welch t 检验,同时计算 power/MDE 并用 BH 校正查看分层异质性,最终输出 SHIP / RAMP / KEEP RUNNING / DO NOT SHIP 的结构化决策 memo。 方法与结果:把 SRM、显著性、护栏指标、power/MDE 与分层异质性串成一条自动化流水线,替代手工散点判断;与我在企业福利卡券项目中 Control / Reminder / Reminder+Reward 三组随机实验(14 天核销率 +6.2pp)使用的读数方法同源。
在产品评审前生成标准化实验读数,避免只看 p-value 的片面判断。
用当前样本量、目标 power 和 MDE 判断实验是否已经有足够证据。
按设备、渠道、国家等维度查看 treatment effect,并用多重检验校正降低误判。