FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

新闻

不用 API Key,这套评测框架给六份合同备忘录打分

《Forward Deployed AI Engineering》配套仓库演示了如何判断 AI 试点能否进入生产环境。

分享微博

要点速览

  • ghanemzadeh/ai-fde 仓库是《Forward Deployed AI Engineering》一书的配套仓库,包含模板、提示词、评测框架和插图。
  • 评测框架用 Python 编写,有 36 个测试,可离线运行;试运行会给六份虚构的合同备忘录打分,并标出不合格的几份。
  • 评测框架代码采用 MIT 许可;模板、提示词和插图受版权保护,可以改编,但不能整套重新发布。
评测框架的四层叠放结构:最底层是确定性检查,拦截缺失章节和格式错误;其上是模型评审,判断推理是否紧扣合同条款;与人工评分员校准的一层用橙色突出,用来检验评审是否有偏差;最顶层是看板。
ghanemzadeh/ai-fde 仓库中的评测框架把四个组件排成层层叠放的过滤器。模型评审终究也是模型,其分数必须先与人工评分员核对,看板才可信。来源:ghanemzadeh/ai-fde 仓库,《Forward Deployed AI Engineering》一书的配套仓库。

六份合同审查备忘录,全部是虚构的,按一套评分标准逐一打分。运行结束时,工具会报告哪几份不合格、原因是什么。这就是 ghanemzadeh/ai-fde 仓库里的试运行。该仓库是《Forward Deployed AI Engineering》一书的配套仓库,试运行不需要 API Key。

仓库里有这本书的模板、提示词、评测框架、插图和参考资料。全书分五个部分、二十章,附十二个模板。README 对用途说得很直白:里面的一切都是拿来复制和改编的。

对前线部署工程师(FDE)来说,最该先打开的是评测框架。Gyde 认为,这个岗位的核心在于 AI 试点和生产环境中的 AI 之间的那段距离。HatchWorks 则认为,FDE 负责整个闭环:从“该做什么”这个问题开始,一直到系统上线、有了真实用户。

闭环中间有一个客户迟早会问的问题:你怎么知道输出已经够好?一个答不出具体数字的试点,通常就一直停留在试点阶段。

四个组件,各自拦截一类问题

这套评测框架是一个 Python 项目,有 36 个测试。它由四部分组成:确定性检查、充当评审的模型、把评审分数与人工评分员对齐的校准环节,以及一个看板。最容易理解的方式,是把它看成一层层叠起来的过滤器。

确定性检查成本低、结论确定:是否缺了必填章节,格式对不对?模型评审负责正则表达式抓不到的问题,比如推理是否真的以合同条款为依据。

校准是最常被跳过的组件。模型评审终究也是模型,它可能过于宽松,也可能带着谁都没料到的偏差。

假设客户的律师把六份备忘录全部重新打分,只有四份与模型评审一致。这两处分歧指出了评分标准或评审提示词需要修改的地方,而且是在有人把看板拿给董事会之前。

评测框架可以离线运行,因此不花一分钱 API 费用,就能读懂整个打分流程。比起看幻灯片,这是更好的评测入门方式:先运行,看哪份备忘录不合格,再回溯到判它不合格的那段代码。

哪些内容可以放心复用?

许可分两部分。评测框架代码采用 MIT 许可,可以用在客户项目里。模板、提示词和插图受版权保护:可以为自己的工作改编,但不能作为合集重新发布。做作品集时,应发布经过自己改造的评测框架,而不是模板集的副本。

模板值得和代码对照着读,因为 FDE 的工作不止于工程。HatchWorks 把 FDE 描述为兼具顾问、产品经理和资深工程师的角色,而且是唯一的责任人。

想转做 FDE 的开发者,手头就有一个现成的练习:fork 这套评测框架,把六份合同备忘录换成自己熟悉领域的输出,自己编写确定性检查,再人工给一小批样本打分,用来校准模型评审。

写在简历上,“搭建评测框架,将模型评审与人工评分员校准,并报告一致率”这样一行,比任何“有 LLM 经验”的说法都更有分量。看招聘信息时,留意那些提到评测或输出质量衡量的公司:这类公司很可能会直接看重这项能力。

当客户问你怎么知道系统答得对,别靠感觉回答。最有说服力的答案,是一次能准确列出问题出在哪里的运行结果。

这篇文章对你有帮助吗?

3 个信源