FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

两个试点站点只能给出 DiD 数值,给不出置信区间

别再用聚类稳健标准误,改做回溯和站点置换安慰剂检验,并直说小规模试点的检验功效有多低。

分享微博

要点速览

  • 处理站点只有几个时,常规标准误和聚类稳健标准误都会严重低估,报告里不要放。
  • 改用安慰剂检验:把开始日期挪到过去,再把试点角色分配给每一对对照站点。
  • 平坦的前趋势证明不了平行趋势;试点站点数量少,能达到的最小 p 值也有上限。
横向条形图,显示置换检验允许的最小 p 值。12 个站点中只有 1 个试点站点时为 0.083,高于 0.05 的阈值;有 2 个试点站点时为 0.022,低于 0.05 的阈值。
试点站点数量决定了站点层面置换检验能达到的最小 p 值。只有一个试点站点时,无论 Agent 表现多好,结果在 0.05 水平上都不可能显著。来源:文中的假设示例(12 个站点,24 周)。

客户允许你在旗下两个客服中心部署一个客服 Agent,其余十个照常运转。三个月后,运营负责人只问一个问题:这个工具到底有没有缩短通话处理时长?一开始谁也没做随机分组,两个站点也远远不够做 A/B 测试。

这是前线部署工程师(FDE)很熟悉的场景。双重差分(DiD)能给出一个容易解释的效果数字。陷阱在别处:统计软件会顺手在旁边打印一个漂亮的置信区间,而只有两个站点时,这个区间几乎总比真实情况窄。

本文分五步,在笔记本电脑上算出 DiD,用安慰剂检验加以核验,再写一份不超出数据所能证明范围的报告。下文所有数字均为假设。代码是为演示而精简的版本,只用到 pandas 和 Python 标准库。

开始之前需要准备什么?

需要一张按周记录的长表,包含 site、week、treated(试点站点为 1)和 aht(平均处理时长,单位为分钟)几列。示例共 12 个站点、24 周,试点从第 13 周开始,涉及 S03 和 S07 两个站点。只需安装 Python 3 和 pandas。

事先和客户约定唯一的指标和试点开始日期。如果看过数据再选指标,后面所有检验都会失去意义。

第 1 步:看四个均值

import pandas as pd

df = pd.read_csv("sites_weekly.csv")   # site, week, treated, aht
START = 13
df["post"] = (df["week"] >= START).astype(int)
print(df.groupby(["treated", "post"])["aht"].mean().unstack())

检查:打印出的表必须恰好有四个格子。假设试点组从 10.0 分钟降到 8.6 分钟,对照组从 10.2 分钟降到 9.8 分钟。试点组下降了 1.4 分钟,但对照组也下降了 0.4 分钟,可能是赶上淡季,或者全公司做了培训。DiD 取两次下降之差:−1.4 − (−0.4) = −1.0 分钟。

第 2 步:把计算封装成函数

def did(d, treated_sites, start):
    t = d["site"].isin(treated_sites)
    post = d["week"] >= start
    m = d.groupby([t, post])["aht"].mean()
    return (m[True, True] - m[True, False]) - (m[False, True] - m[False, False])

print(did(df, ["S03", "S07"], START))   # 预期约为 -1.0

函数把站点列表和开始日期作为参数,这样后面两步安慰剂检验就能用假站点、假日期再次调用它。

第 3 步:逐周查看差距,但别太当真

gap = df.pivot_table(index="week", columns="treated",
                     values="aht", aggfunc="mean")
gap = gap[1] - gap[0]
print(gap.round(2))

第 13 周之前,两组的差距应当稳定在某个水平附近,之后才开始拉开。这是对平行趋势假设的目测检查:如果没有试点,两组本应同步变化。

专攻 DiD 的计量经济学家 Brantly Callaway 指出,平行趋势是一个辅助假设,研究设计本身并不保证它成立。干预前的数据只能用来检验它。

Marcus 和 Sant’Anna 说得更进一步:干预前系数显著不为零,是反对该假设的证据;而未能拒绝,并不是支持它的证据。

Jonathan Roth 又加了一层警告:前趋势检验的功效往往不足,只在预检验“通过”时才继续分析,这种做法本身就会扭曲估计值和推断。所以这一步用来发现明显问题,不能当作通行证。

为什么不能打印聚类稳健标准误

自然的反应是跑一个回归,按站点对误差做聚类。Alvarez、Ferman 和 Wüthrich 的研究表明,处理单位极少时,这些单位的观测值杠杆很高。结果是常规标准误和聚类稳健标准误都会严重低估。

作者指出,只有一个试点站点时,在 DiD 中按单位聚类得到的标准误会被严重低估。

他们明确反对在这类情况下报告聚类稳健标准误,建议改用 Conley–Taber 方法或共形推断。接下来两步并不能替代这些方法。

它们是一种简化做法,基于一个容易核对的思路:与其相信标准误公式,不如在肯定没有试点的时间和站点上重新计算估计值,再看真实数字是否在一堆假数字中显得突出。

第 4 步:把试点日期挪到过去

pre = df[df["week"] < START]
for fake_start in [7, 9, 11]:
    print(fake_start, round(did(pre, ["S03", "S07"], fake_start), 2))

只用试点之前的数据,假装试点更早就开始了。这里没有任何真实干预,所以结果应当接近零。

如果某个假日期得出 −0.8 分钟,那么 −1.0 分钟的估计值衡量的就是 Agent 以外的东西。Netflix Games 把这种技术称为回溯(backdating),并在其合成控制框架中用作稳健性检验。

第 5 步:把试点角色轮流分给每一对对照站点

from itertools import combinations

PILOT = ["S03", "S07"]
real = did(df, PILOT, START)
controls = sorted(set(df["site"]) - set(PILOT))
ctrl = df[df["site"].isin(controls)]          # 完全排除真实试点站点
placebo = [did(ctrl, list(c), START) for c in combinations(controls, 2)]
p = (1 + sum(abs(e) >= abs(real) for e in placebo)) / (1 + len(placebo))
print(len(placebo), round(p, 3))

要留意的是 ctrl 这一行:S03 和 S07 不参与任何一次假分配。如果留着它们,它们会落进假试点对的对照组,Agent 的真实效果就会渗入比较,安慰剂估计值也会因此偏移。

10 个对照站点能组成 45 对假试点。加上真实的一对,共 46 种分配。如果 −1.0 分钟的绝对值最大,p 就等于 1/46,约为 0.022。

这是简化版的置换检验,并非论文中的完整流程,但逻辑足够简单,能讲给运营负责人听。

在作出任何承诺之前,再算一笔账。如果客户在 12 个站点中只给一个试点站点,就只有 11 种假分配加上真实的一种。此时最小的 p 为 1/12,约 0.083,也就是说,无论 Agent 效果多好,都不可能达到 0.05 的阈值。

Alvarez 等人对此同样说得很明确:即便方法能正确控制检验水平,处理单位极少时也可能缺乏功效。

最常见的错误

第一,凭感觉挑选试点站点,通常挑的是经理最积极的那几个。这些站点可能本来就在改善,仔细看第 3 步就能发现。

第二,看到结果后再改指标或开始日期。第三,把带聚类标准误的整张回归表贴进幻灯片。这个数字看起来很专业,却是偏向你的错误,客户自己核对时,最容易因此失去信任。

这项技能在客户现场怎么用?

Netflix 的做法说明这不只是教科书内容:它大量依赖实验和准实验,在事先没有规划 A/B 测试时,就基于观测数据做因果推断。

Netflix Games 团队搭建了一整套合成控制变体框架,其中包括合成双重差分,因为每种方法适用于不同的情形。

在现场,第一件事是在试点设计会上就做第 5 步的计算。如果试点站点太少,达不到客户需要的置信度,就去争取更多站点;延长观察期并不会增加置换检验中试点角色的分配方式。

在部署之前谈好这件事,远比事后解释“不具有统计显著性”容易得多。

就职业发展而言,可以留意提到 “measure impact” 或 “prove ROI” 的 FDE 岗位。简历上别写“分析了试点数据”,而是写明:用 DiD 在 N 个站点上估计效果,用时间和站点置换安慰剂做了检验,并清楚报告了检验功效的局限。

这样一句话能让面试官知道,你既懂这个数字,也懂它证明不了什么。

客户很快就会忘掉 −1.0 分钟这个数字。他们会记得更久的是:一开始就把两个站点能证明多少说清楚的人,是你。

这篇文章对你有帮助吗?

5 个信源
路线图上的下一篇 · 阶段 6: 价值度量Agent 节省工时看板,要在 Agent 上线前开始搭Trace 能告诉你 Agent 完成了多少任务,但财务只认与上线前实测的人工基线对比出的节省工时。