调价试点复盘
用对照组扣掉季节和整体走势,而不是只比调价前后。
作品说明
前后对比说涨价伤了销量,加上对照组后结论就变了
UCI Online Retail II 里 51 次真实的标价上调,用前后对比、堆叠双重差分、事件研究和合成对照四种方法评估:前后对比错在哪里,以及什么时候该承认证据不够。
从真实交易中识别 51 次 +2% 到 +25% 的标价上调(12 个调价周,中位 +10%),对照为同一窗口内标价不变的约 2,400 个 SKU。实际成交价相对对照上升约 10%(第一阶段显著)。只看前后对比,销量下降约 11%;但同期对照组也下降约 5%,双重差分后的销量变化为 +2%,95% 置信区间约 -19% 到 +28%——这个设计只能检出约 ±39% 以上的变化。事件研究显示被涨价的商品在调价前就在相对走强,说明涨价对象可能是挑过的。最大一批调价(2011-03-28,18 个 SKU)的合成对照显示调价后 12 周平均高于合成对照约 7%,但走势是先冲高约 30%、再低于对照约 20%,更像集中提前下单,且权重集中在少数对照上。结论:没有证据表明 5–15% 的上调明显损失销量,但观察数据给不出可靠弹性,要定全品类政策应做随机化价格测试。
用对照组扣掉季节和整体走势,而不是只比调价前后。
事件研究看前趋势、安慰剂检验、换对照组看敏感性。
用当前设计的最小可检出变化,倒推随机化价格测试需要多大样本。