# 两个试点站点只能给出 DiD 数值，给不出置信区间

> 别再用聚类稳健标准误，改做回溯和站点置换安慰剂检验，并直说小规模试点的检验功效有多低。

原文: https://fdetimes.net/zh/guides/difference-in-differences-few-pilot-sites/

客户允许你在旗下两个客服中心部署一个客服 Agent，其余十个照常运转。三个月后，运营负责人只问一个问题：这个工具到底有没有缩短通话处理时长？一开始谁也没做随机分组，两个站点也远远不够做 A/B 测试。

这是前线部署工程师（FDE）很熟悉的场景。双重差分（DiD）能给出一个容易解释的效果数字。陷阱在别处：统计软件会顺手在旁边打印一个漂亮的置信区间，而只有两个站点时，这个区间几乎总比真实情况窄。

本文分五步，在笔记本电脑上算出 DiD，用安慰剂检验加以核验，再写一份不超出数据所能证明范围的报告。下文所有数字均为假设。代码是为演示而精简的版本，只用到 pandas 和 Python 标准库。

## 开始之前需要准备什么？

需要一张按周记录的长表，包含 `site`、`week`、`treated`（试点站点为 1）和 `aht`（平均处理时长，单位为分钟）几列。示例共 12 个站点、24 周，试点从第 13 周开始，涉及 S03 和 S07 两个站点。只需安装 Python 3 和 pandas。

事先和客户约定唯一的指标和试点开始日期。如果看过数据再选指标，后面所有检验都会失去意义。

## 第 1 步：看四个均值

```python
import pandas as pd

df = pd.read_csv("sites_weekly.csv")   # site, week, treated, aht
START = 13
df["post"] = (df["week"] >= START).astype(int)
print(df.groupby(["treated", "post"])["aht"].mean().unstack())
```

检查：打印出的表必须恰好有四个格子。假设试点组从 10.0 分钟降到 8.6 分钟，对照组从 10.2 分钟降到 9.8 分钟。试点组下降了 1.4 分钟，但对照组也下降了 0.4 分钟，可能是赶上淡季，或者全公司做了培训。DiD 取两次下降之差：−1.4 − (−0.4) = −1.0 分钟。

## 第 2 步：把计算封装成函数

```python
def did(d, treated_sites, start):
    t = d["site"].isin(treated_sites)
    post = d["week"] >= start
    m = d.groupby([t, post])["aht"].mean()
    return (m[True, True] - m[True, False]) - (m[False, True] - m[False, False])

print(did(df, ["S03", "S07"], START))   # 预期约为 -1.0
```

函数把站点列表和开始日期作为参数，这样后面两步安慰剂检验就能用假站点、假日期再次调用它。

## 第 3 步：逐周查看差距，但别太当真

```python
gap = df.pivot_table(index="week", columns="treated",
                     values="aht", aggfunc="mean")
gap = gap[1] - gap[0]
print(gap.round(2))
```

第 13 周之前，两组的差距应当稳定在某个水平附近，之后才开始拉开。这是对平行趋势假设的目测检查：如果没有试点，两组本应同步变化。

专攻 DiD 的计量经济学家 Brantly Callaway 指出，平行趋势是一个辅助假设，研究设计本身并不保证它成立。干预前的数据只能用来检验它。

Marcus 和 Sant'Anna 说得更进一步：干预前系数显著不为零，是反对该假设的证据；而未能拒绝，并不是支持它的证据。

**要点:** 平坦的前趋势证明不了平行趋势。

Jonathan Roth 又加了一层警告：前趋势检验的功效往往不足，只在预检验“通过”时才继续分析，这种做法本身就会扭曲估计值和推断。所以这一步用来发现明显问题，不能当作通行证。

## 为什么不能打印聚类稳健标准误

自然的反应是跑一个回归，按站点对误差做聚类。Alvarez、Ferman 和 Wüthrich 的研究表明，处理单位极少时，这些单位的观测值杠杆很高。结果是常规标准误和聚类稳健标准误都会严重低估。

作者指出，只有一个试点站点时，在 DiD 中按单位聚类得到的标准误会被严重低估。

他们明确反对在这类情况下报告聚类稳健标准误，建议改用 Conley–Taber 方法或共形推断。接下来两步并不能替代这些方法。

它们是一种简化做法，基于一个容易核对的思路：与其相信标准误公式，不如在肯定没有试点的时间和站点上重新计算估计值，再看真实数字是否在一堆假数字中显得突出。

## 第 4 步：把试点日期挪到过去

```python
pre = df[df["week"] < START]
for fake_start in [7, 9, 11]:
    print(fake_start, round(did(pre, ["S03", "S07"], fake_start), 2))
```

只用试点之前的数据，假装试点更早就开始了。这里没有任何真实干预，所以结果应当接近零。

如果某个假日期得出 −0.8 分钟，那么 −1.0 分钟的估计值衡量的就是 Agent 以外的东西。Netflix Games 把这种技术称为回溯（backdating），并在其合成控制框架中用作稳健性检验。

## 第 5 步：把试点角色轮流分给每一对对照站点

```python
from itertools import combinations

PILOT = ["S03", "S07"]
real = did(df, PILOT, START)
controls = sorted(set(df["site"]) - set(PILOT))
ctrl = df[df["site"].isin(controls)]          # 完全排除真实试点站点
placebo = [did(ctrl, list(c), START) for c in combinations(controls, 2)]
p = (1 + sum(abs(e) >= abs(real) for e in placebo)) / (1 + len(placebo))
print(len(placebo), round(p, 3))
```

要留意的是 `ctrl` 这一行：S03 和 S07 不参与任何一次假分配。如果留着它们，它们会落进假试点对的对照组，Agent 的真实效果就会渗入比较，安慰剂估计值也会因此偏移。

10 个对照站点能组成 45 对假试点。加上真实的一对，共 46 种分配。如果 −1.0 分钟的绝对值最大，p 就等于 1/46，约为 0.022。

这是简化版的置换检验，并非论文中的完整流程，但逻辑足够简单，能讲给运营负责人听。

在作出任何承诺之前，再算一笔账。如果客户在 12 个站点中只给一个试点站点，就只有 11 种假分配加上真实的一种。此时最小的 p 为 1/12，约 0.083，也就是说，无论 Agent 效果多好，都不可能达到 0.05 的阈值。

Alvarez 等人对此同样说得很明确：即便方法能正确控制检验水平，处理单位极少时也可能缺乏功效。

## 最常见的错误

第一，凭感觉挑选试点站点，通常挑的是经理最积极的那几个。这些站点可能本来就在改善，仔细看第 3 步就能发现。

第二，看到结果后再改指标或开始日期。第三，把带聚类标准误的整张回归表贴进幻灯片。这个数字看起来很专业，却是偏向你的错误，客户自己核对时，最容易因此失去信任。

## 这项技能在客户现场怎么用？

Netflix 的做法说明这不只是教科书内容：它大量依赖实验和准实验，在事先没有规划 A/B 测试时，就基于观测数据做因果推断。

Netflix Games 团队搭建了一整套合成控制变体框架，其中包括合成双重差分，因为每种方法适用于不同的情形。

在现场，第一件事是在试点设计会上就做第 5 步的计算。如果试点站点太少，达不到客户需要的置信度，就去争取更多站点；延长观察期并不会增加置换检验中试点角色的分配方式。

在部署之前谈好这件事，远比事后解释“不具有统计显著性”容易得多。

就职业发展而言，可以留意提到 “measure impact” 或 “prove ROI” 的 FDE 岗位。简历上别写“分析了试点数据”，而是写明：用 DiD 在 N 个站点上估计效果，用时间和站点置换安慰剂做了检验，并清楚报告了检验功效的局限。

这样一句话能让面试官知道，你既懂这个数字，也懂它证明不了什么。

客户很快就会忘掉 −1.0 分钟这个数字。他们会记得更久的是：一开始就把两个站点能证明多少说清楚的人，是你。

**本周动手试试:**

- 拿一个旧试点项目，或生成 12 个站点 × 24 周的假数据，运行 did() 函数并打印逐周差距表
- 在向客户承诺“统计显著”的结果之前，先按你的试点站点数量算出置换检验允许的最小 p 值
- 写一段三句话的局限性说明（检验功效、平行趋势假设），加到下一份试点报告的末尾

## 信源

- [Inference with few treated units (Alvarez, Ferman, Wüthrich)](https://arxiv.org/html/2504.19841v2)

- [Pretest with Caution: Event-Study Estimates after Testing for Parallel Trends (Jonathan Roth, AER: Insights)](https://ideas.repec.org/a/aea/aerins/v4y2022i3p305-22.html)

- [The role of parallel trends in event study settings: An application to environmental economics (Marcus, Sant'Anna)](https://ar5iv.labs.arxiv.org/html/2009.01963)

- [Difference-in-Differences (Brantly Callaway, Recent Methodological Advances and their Relevance to Empirical Work)](https://bcallaway11.github.io/iowa/01_DID-Introduction.html)

- [Round 2: A Survey of Causal Inference Applications at Netflix (mirror of Netflix Technology Blog post)](https://newspeedjune06.blogspot.com/2024/06/round-2-survey-of-causal-inference.html)
