不用 API Key,这套评测框架给六份合同备忘录打分
《Forward Deployed AI Engineering》配套仓库演示了如何判断 AI 试点能否进入生产环境。
要点速览
- ghanemzadeh/ai-fde 仓库是《Forward Deployed AI Engineering》一书的配套仓库,包含模板、提示词、评测框架和插图。
- 评测框架用 Python 编写,有 36 个测试,可离线运行;试运行会给六份虚构的合同备忘录打分,并标出不合格的几份。
- 评测框架代码采用 MIT 许可;模板、提示词和插图受版权保护,可以改编,但不能整套重新发布。
六份合同审查备忘录,全部是虚构的,按一套评分标准逐一打分。运行结束时,工具会报告哪几份不合格、原因是什么。这就是 ghanemzadeh/ai-fde 仓库里的试运行。该仓库是《Forward Deployed AI Engineering》一书的配套仓库,试运行不需要 API Key。
仓库里有这本书的模板、提示词、评测框架、插图和参考资料。全书分五个部分、二十章,附十二个模板。README 对用途说得很直白:里面的一切都是拿来复制和改编的。
对前线部署工程师(FDE)来说,最该先打开的是评测框架。Gyde 认为,这个岗位的核心在于 AI 试点和生产环境中的 AI 之间的那段距离。HatchWorks 则认为,FDE 负责整个闭环:从“该做什么”这个问题开始,一直到系统上线、有了真实用户。
闭环中间有一个客户迟早会问的问题:你怎么知道输出已经够好?一个答不出具体数字的试点,通常就一直停留在试点阶段。
四个组件,各自拦截一类问题
这套评测框架是一个 Python 项目,有 36 个测试。它由四部分组成:确定性检查、充当评审的模型、把评审分数与人工评分员对齐的校准环节,以及一个看板。最容易理解的方式,是把它看成一层层叠起来的过滤器。
确定性检查成本低、结论确定:是否缺了必填章节,格式对不对?模型评审负责正则表达式抓不到的问题,比如推理是否真的以合同条款为依据。
校准是最常被跳过的组件。模型评审终究也是模型,它可能过于宽松,也可能带着谁都没料到的偏差。
假设客户的律师把六份备忘录全部重新打分,只有四份与模型评审一致。这两处分歧指出了评分标准或评审提示词需要修改的地方,而且是在有人把看板拿给董事会之前。
评测框架可以离线运行,因此不花一分钱 API 费用,就能读懂整个打分流程。比起看幻灯片,这是更好的评测入门方式:先运行,看哪份备忘录不合格,再回溯到判它不合格的那段代码。
哪些内容可以放心复用?
许可分两部分。评测框架代码采用 MIT 许可,可以用在客户项目里。模板、提示词和插图受版权保护:可以为自己的工作改编,但不能作为合集重新发布。做作品集时,应发布经过自己改造的评测框架,而不是模板集的副本。
模板值得和代码对照着读,因为 FDE 的工作不止于工程。HatchWorks 把 FDE 描述为兼具顾问、产品经理和资深工程师的角色,而且是唯一的责任人。
想转做 FDE 的开发者,手头就有一个现成的练习:fork 这套评测框架,把六份合同备忘录换成自己熟悉领域的输出,自己编写确定性检查,再人工给一小批样本打分,用来校准模型评审。
写在简历上,“搭建评测框架,将模型评审与人工评分员校准,并报告一致率”这样一行,比任何“有 LLM 经验”的说法都更有分量。看招聘信息时,留意那些提到评测或输出质量衡量的公司:这类公司很可能会直接看重这项能力。
当客户问你怎么知道系统答得对,别靠感觉回答。最有说服力的答案,是一次能准确列出问题出在哪里的运行结果。
这篇文章对你有帮助吗?
感谢你的反馈!