# 不用 API Key，这套评测框架给六份合同备忘录打分

> 《Forward Deployed AI Engineering》配套仓库演示了如何判断 AI 试点能否进入生产环境。

原文: https://fdetimes.net/zh/news/fde-eval-harness-contract-memos/

六份合同审查备忘录，全部是虚构的，按一套评分标准逐一打分。运行结束时，工具会报告哪几份不合格、原因是什么。这就是 ghanemzadeh/ai-fde 仓库里的试运行。该仓库是《Forward Deployed AI Engineering》一书的配套仓库，试运行不需要 API Key。

仓库里有这本书的模板、提示词、评测框架、插图和参考资料。全书分五个部分、二十章，附十二个模板。README 对用途说得很直白：里面的一切都是拿来复制和改编的。

对前线部署工程师（FDE）来说，最该先打开的是评测框架。Gyde 认为，这个岗位的核心在于 AI 试点和生产环境中的 AI 之间的那段距离。HatchWorks 则认为，FDE 负责整个闭环：从“该做什么”这个问题开始，一直到系统上线、有了真实用户。

闭环中间有一个客户迟早会问的问题：你怎么知道输出已经够好？一个答不出具体数字的试点，通常就一直停留在试点阶段。

## 四个组件，各自拦截一类问题

这套评测框架是一个 Python 项目，有 36 个测试。它由四部分组成：确定性检查、充当评审的模型、把评审分数与人工评分员对齐的校准环节，以及一个看板。最容易理解的方式，是把它看成一层层叠起来的过滤器。

确定性检查成本低、结论确定：是否缺了必填章节，格式对不对？模型评审负责正则表达式抓不到的问题，比如推理是否真的以合同条款为依据。

校准是最常被跳过的组件。模型评审终究也是模型，它可能过于宽松，也可能带着谁都没料到的偏差。

假设客户的律师把六份备忘录全部重新打分，只有四份与模型评审一致。这两处分歧指出了评分标准或评审提示词需要修改的地方，而且是在有人把看板拿给董事会之前。

**要点:** 从未与人工评分员对比过的模型评审，还不值得信任。

评测框架可以离线运行，因此不花一分钱 API 费用，就能读懂整个打分流程。比起看幻灯片，这是更好的评测入门方式：先运行，看哪份备忘录不合格，再回溯到判它不合格的那段代码。

## 哪些内容可以放心复用？

许可分两部分。评测框架代码采用 MIT 许可，可以用在客户项目里。模板、提示词和插图受版权保护：可以为自己的工作改编，但不能作为合集重新发布。做作品集时，应发布经过自己改造的评测框架，而不是模板集的副本。

模板值得和代码对照着读，因为 FDE 的工作不止于工程。HatchWorks 把 FDE 描述为兼具顾问、产品经理和资深工程师的角色，而且是唯一的责任人。

想转做 FDE 的开发者，手头就有一个现成的练习：fork 这套评测框架，把六份合同备忘录换成自己熟悉领域的输出，自己编写确定性检查，再人工给一小批样本打分，用来校准模型评审。

写在简历上，“搭建评测框架，将模型评审与人工评分员校准，并报告一致率”这样一行，比任何“有 LLM 经验”的说法都更有分量。看招聘信息时，留意那些提到评测或输出质量衡量的公司：这类公司很可能会直接看重这项能力。

当客户问你怎么知道系统答得对，别靠感觉回答。最有说服力的答案，是一次能准确列出问题出在哪里的运行结果。

**本周动手试试:**

- 克隆仓库，运行试运行，先看每份备忘录不合格的原因，再去读代码
- 把六份备忘录换成你熟悉领域的十条输出，并为它们至少写两条确定性检查
- 人工给这些输出打分，与模型评审的分数对比，记下两者不一致的地方

## 信源

- [ghanemzadeh/ai-fde (GitHub)](https://github.com/ghanemzadeh/ai-fde)

- [What is a Forward Deployed Engineer? (HatchWorks)](https://hatchworks.com/blog/fde/forward-deployed-engineer/)

- [What are forward deployed engineers? (Gyde)](https://blog.gyde.ai/what-are-forward-deployed-engineers/)
