josephjwang.com

从一个经营问题，到一个能执行的决定

这是我做一个数据项目的六个步骤。每一步写了业务方通常怎么问、我会怎么做、产出什么，以及站上可以直接打开验证的 Demo。

  1. 1定义问题“数据和报表都不少，可每次开会还是说不清下一步该做什么。”
  2. 2找到问题“核销率低、销量下滑，到底卡在哪一步、哪一群人？”
  3. 3预测“下个月该备多少货？名单上哪些客户会回来？”
  4. 4验证“活动和调价到底有没有用？是不是本来就会发生？”
  5. 5做出决策“那具体怎么定价、补多少、先处理哪家店？”
  6. 6沉淀为工具“分析做完了，下次还得重新找人取数吗？”

第 1 步

定义问题

数据和报表都不少，可每次开会还是说不清下一步该做什么。

业务方常见的问法

用到的方法
指标体系、口径与粒度、SQL
产出
决策问题清单、指标字典

我会怎么做

  • 把模糊的诉求改写成一个能回答的决策：做不做、投给谁、定多少。
  • 定一个主指标和几项护栏指标，写清口径和表的粒度，避免报表之间互相打架。
  • 先确认现有数据能不能回答这个问题，不能就先补数据，而不是硬做模型。

可以直接验证的 Demo

  • 企业福利卡券增长实验真实项目 · 合成数据

    先对齐发放到履约六个环节的口径，并区分用户级和券实例级两种粒度，看板才不会各说各话。

  • A/B 实验决策工作台虚构场景 · 模拟数据

    上线与否只看一个主指标，其余作为护栏；判定规则在看结果之前就写好。

第 2 步

找到问题

核销率低、销量下滑，到底卡在哪一步、哪一群人？

业务方常见的问法

用到的方法
漏斗、Cohort、RFM 与 CLV、客户分层
产出
诊断报告、分层与动作对照表

我会怎么做

  • 用漏斗拆出流失最大的环节，按绝对人数排优先级，而不是只看转化率。
  • 按行为和价值给客户分层，每层对应一个不同的动作。
  • 分清「在哪里掉」和「为什么掉」：前者看数据，后者要靠实验验证。

可以直接验证的 Demo

  • 企业福利卡券增长实验真实项目 · 合成数据

    流失最多的是「触达 → 访问」（1,425 人），而不是大家以为的核销环节。

  • RFM 分层 · CLV · 流失预警公开数据

    9.6% 的核心客户贡献 55.8% 的收入；经典的 1−P(alive) 流失评分在一次性买家上失效（AUC 0.44）。

第 3 步

预测

下个月该备多少货？名单上哪些客户会回来？

业务方常见的问法

用到的方法
滚动回测、梯度提升、时间外验证、校准
产出
预测模型、回测报告、基线对比

我会怎么做

  • 只用时间外回测，按上线后的真实情况评估，不用随机切分。
  • 先和简单基线比：模型打不赢一条规则，就用规则。
  • 按决策选误差口径：采购总量要无偏，单品下单看绝对误差。

可以直接验证的 Demo

  • 需求预测与补货决策公开数据

    LightGBM 单 SKU 更准（WMAPE 53.6% vs 59.1%），但加总后反而输给移动平均：先想清楚预测给哪个决策用。

  • 倾向模型与增量验证公开数据

    复购模型时间外 AUC 0.79，但一条「近一年订单数」规则就有 0.78；旺季前概率还要重新校准。

第 4 步

验证

活动和调价到底有没有用？是不是本来就会发生？

业务方常见的问法

用到的方法
实验设计、功效分析、SRM、双重差分、事件研究、合成对照
产出
实验方案、读数与上线建议

我会怎么做

  • 能随机就随机：A/B、多臂实验、留出对照组；事先算好样本量和最小可检出效应，检查分流是否失衡。
  • 不能随机，就用双重差分、事件研究和合成对照，并检查前趋势、做安慰剂检验。
  • 把检不出的范围说清楚：「没检出」不等于「没影响」。

可以直接验证的 Demo

  • 企业福利卡券增长实验真实项目 · 合成数据

    三臂随机实验：提醒让 14 天核销率 +6.2pp，叠加奖励没有检出额外增量，所以不做全员补贴。

  • A/B 实验决策工作台虚构场景 · 模拟数据

    分流检查、护栏、功效与分群差异串成一份能直接拿去评审的上线决策。

  • 调价因果评估公开数据

    只看前后对比，涨价后销量 -11%；加上对照组后是 +2%，区间 -19% 到 +28%，结论完全不同。

  • 倾向模型与增量验证公开数据

    分数最高的 10% 客户，发邮件后的访问里有 71% 不发也会发生。

第 5 步

做出决策

那具体怎么定价、补多少、先处理哪家店？

业务方常见的问法

用到的方法
价格弹性、带约束的优化、安全库存、综合评分
产出
建议清单、审核流程、执行看板

我会怎么做

  • 把预测和效果估计接到带约束的决策上：价格护栏、服务水平、预算上限。
  • 每条建议都能被审核、被覆盖，并记录原因。
  • 证据不够的地方，给测试方案而不是直接全量上线。

可以直接验证的 Demo

第 6 步

沉淀为工具

分析做完了，下次还得重新找人取数吗？

业务方常见的问法

用到的方法
受控 ChatBI、Text-to-SQL、LLM 评估、轻量微调
产出
取数工具原型、评测集与选型报告

我会怎么做

  • 把口径和常用 SQL 沉淀成受控工具：模板化查询、只读权限、超出范围就拒答。
  • 引入大模型之前先建评测集，比较准确度、稳定性、延迟和成本，再决定用哪种方案。

可以直接验证的 Demo

  • ChatBI 对话式 BI样例数据库

    先检索相关表，生成的 SQL 过一道语法树级安全检查才执行，而不是让大模型直接查库。

  • 评论智能分析公开数据

    在同一测试集上比较零样本、少样本和微调小模型，按结构化输出、延迟和成本选部署方案。

贯穿每一步：先挑自己的错

  • 每个数字都标明来自真实项目、公开数据还是合成数据。
  • 结论附上局限和检不出的范围。
  • 简单方法能做到的，不用复杂方法。
  • 好得反常的结果，先当成错误去查。

可以直接验证的 Demo

  • SEC 披露分诊公开数据

    按最自然的写法 AUC 是 0.841，逐一修掉四处信息泄漏后是 0.764。

数据来源标注：「真实项目 · 合成数据」指按真实项目的口径和结果校准、但不含任何客户数据；「公开数据」均可从原始来源下载复现；「合成数据」「虚构场景」只用于演示方法。

查看全部 Demo查看简历