# Thomson Reuters 为 CoCounsel 招聘 FDE：各职级都要评测 LLM，Senior 岗位要求法律背景

> CoCounsel 的 FDE 招聘广告仍然要求工程师搭建 RAG 管道和智能体，但同样看重另一件事：证明输出达到律师的标准。

原文: https://fdetimes.net/zh/analysis/thomson-reuters-cocounsel-fde-llm-evals/

Thomson Reuters 在 Dice 上发布了一则招聘广告，招聘 CoCounsel 前线部署工程（Forward Deployed Engineering）团队的 Senior Software Engineer。对软件工程岗位来说，其中一项要求并不常见：候选人需要具备 JD（法律博士学位）、正规法律训练，或在法律执业环境中的同等深厚经验。公司招的是软件工程师，问的却是法学院。

这背后有原因。同一则广告要求入职者从法律准确性、相关性和可靠性三个方面，评测非确定性的 AI 输出。要判断一个法律回答是对是错，就得知道律师会怎么读它。

随着前线部署工程师（FDE）的工作深入具体行业，会调用大模型 API 已经不足以让人脱颖而出。还必须证明输出在该领域从业者眼中是正确的。这意味着要写评测，而这项工作和搭建管道同样重要。

## 管道仍是核心工作，评测从第一个职级就开始

CoCounsel FDE 团队发布了两个职级的招聘广告。中级岗位的职责包括搭建和运维 RAG 管道、智能体工作流以及多组件 AI 系统。Built In NYC 上的 Senior 广告已于 2026 年 8 月 20 日下线，同样涵盖搭建 RAG 管道和智能体。

不过，紧接在搭建工作之后的就是评测。把几则广告放在一起看，很清楚：评测并不只是资深员工的事。

| 维度 | 中级 | Senior（Built In NYC） | Senior Legal（Dice） |
|---|---|---|---|
| 搭建 | RAG、智能体工作流、多组件 AI 系统 | RAG 管道和智能体 | — |
| 在评测中的角色 | 协助评测 LLM 输出 | 主导 LLM 评测 | 评测非确定性 AI 输出 |
| 评分标准 | 法律准确性、相关性、引用、一致性、幻觉 | 输出质量、幻觉风险 | 法律准确性、相关性、可靠性 |
| 特殊要求 | — | — | JD、正规法律训练或同等经验 |

中级岗位已经出现了评测，而且列出的标准是三则广告中最详细的。到了 Senior，动词从“协助”变成“主导”，同时还要对输出质量做基准测试、衡量幻觉风险。

换句话说，职级越高，评测就越从“要做的事”变成“要负责的事”。而在任何职级，管道工作都没有消失。

## 为什么给法律 AI 打分这么难？

Thomson Reuters 自己在 2024 年一篇关于 CoCounsel 基准测试的文章中解释过这一点。传统基准测试依赖选择题或判断题，而据该公司介绍，这种方式不足以评测律师每天面对的开放式任务。

更难的是，“正确”有时取决于偏好。文章指出，两个回答可能都对，区别只在于用户更喜欢哪一个，这让评测很难稳定地自动化。

2026 年，Thomson Reuters 在推出 CoCoBench 时确定了自己的衡量标准：每一条输出都按执业律师是否认为可以接受来打分。公司还指出，针对通用基准优化的系统，放到真实工作流里打分时往往表现不佳。

举个例子。你为一家律所做了一个合同审查助手，用 20 个问题测试。其中 18 个回答实质正确，如果只按“对或错”打分，系统得分 90%。

但逐条核对引用后发现，有 3 个“正确”回答引用了合同里根本不存在的条款。把引用算进去，既正确又出处准确的回答只有 15 个：75%。

律师不会看 90% 这个数字。他们看到的是，大约每七个回答就有一个编造出处，于是不再信任这个工具。

这个例子说明，中级广告把引用质量和幻觉风险与法律准确性并列为独立标准是有道理的：如果混在一起算，编造的出处很容易藏在一个好看的数字后面。

**要点:** 在垂直领域 AI 中，会写评测和会搭管道同样重要。

这个例子还有一层。Thomson Reuters 强调，如果初始检索质量差，LLM 的表现也会随之下降。所以面对那 3 条编造的引用，第一步是检查检索有没有召回正确的条款，而不是先怪模型。

这条经验适用于任何客户。在调提示词或换模型之前，先和领域专家商定哪些错误不可接受，再把每类错误变成独立指标，分别衡量检索和回答。

## 没有法学学位还有机会吗？

法律背景要求出现在 Senior 广告里，措辞中有一个“或”：JD、正规法律训练，或在法律执业环境中的同等深厚经验。这扇门并没有对没学过法律的工程师完全关上，但你必须证明自己理解律师的工作方式。

原因就在 CoCoBench 自己的衡量标准里。如果评分标准是执业律师能否接受，那么写评测的人必须分得清“读起来没问题”的回答和律师愿意签字的回答。评测集从一开始就打错分，再好的管道也救不回来。

同样的逻辑适用于每个垂直行业，从医疗到金融都是如此。

## 有了评测集，才能换模型

评测重要还有一个实际原因。根据 2024 年 11 月的一份新闻稿，Thomson Reuters 的 LLM 评测项目会直接在产品内部测试多家 AI 厂商的新模型。

多模型策略要成立，必须有一套稳定的评测集作对照。每次出现新模型，“要不要换？”这个问题只能这样回答：用同样的问题、同样的标准重跑一遍，把数字并排摆出来。

在客户现场，FDE 面对的是同一个问题，而且往往没人提前准备。如果第一周就把评测集搭好，换模型的会议就会变成一起看一张数字表，而不是凭感觉争论。

## 一个能讲完整故事的作品集项目

如果想为这类岗位做准备，可以从一个项目开始。在公开的法律文档语料上搭一套 RAG 系统，比如合同模板或法规条文，再加一个简单的智能体步骤，例如把复杂问题自动拆成几个小问题。

最重要的是配套的评测集。每个问题都要有参考答案和来源条款。分别给检索准确率、回答准确率、引用准确率和编造出处率打分，并记录每次迭代后数字的变化。

这些指标与中级广告列出的标准高度吻合。条件允许的话，用同一套评测集跑两个不同的模型，再加一张对比表。

简历上不要只写“用 LLM 做了一个法律聊天机器人”，而要这样写：设计了一套引用评测集，发现了多少编造出处的错误，并把它降到了什么水平。

面试时，讲一次你和领域用户坐下来商定哪些错误不可接受的经历。这个故事能说明你理解 Thomson Reuters 的衡量标准：看从业者是否接受，而不是看通用基准的分数高低。

CoCounsel 团队的招聘广告表明，垂直行业的 FDE 是这样一种工程师：既能搭建系统，又能按行业从业者的标准衡量正确性。两者兼备的人，在任何一条错误引用就可能让客户付出代价的行业里，都会更有优势。

**本周动手试试:**

- 从一份公开的合同模板中选 10 个条款，写 20 个问题并附上参考答案和正确条款，然后用两个指标给一个简单的 RAG 管道打分：回答是否正确，引用的条款是否真实存在。
- 把简历中的一行改写成“按标准 X 评测 LLM 输出，发现 Y 处引用错误”，而不是“用 LLM 做了一个聊天机器人”。
- 约目标行业（法律、医疗、金融）的一位从业者聊 30 分钟，问问哪些 AI 错误会让他们立刻失去信任。

## 信源

- [Senior Software Engineer - AI (Legal), CoCounsel FDE - Thomson Reuters (Built In NYC)](https://www.builtinnyc.com/job/senior-software-engineer-ai-legal-cocounsel-fde/9090355)

- [Software Engineer - AI - CoCounsel Forward Deployed Engineering (Ann Arbor USA jobs)](https://jobs.annarborusa.org/companies/thomson-reuters/jobs/75489074-software-engineer-ai-legal-cocounsel-forward-deployed-engineering)

- [Senior Software Engineer, Legal - CoCounsel Forward Deployed Engineering (Dice)](https://www.dice.com/job-detail/b8324405-a09b-400d-90a4-d903d8124b48)

- [Legal AI Benchmarking: CoCounsel (Thomson Reuters)](https://www.thomsonreuters.com/en-us/posts/innovation/legal-ai-benchmarking-cocounsel/)

- [Why Legal AI Needs a New Standard: Inside Thomson Reuters CoCoBench](https://www.thomsonreuters.com/en-us/posts/innovation/why-legal-ai-needs-a-new-standard-inside-thomson-reuters-cocobench/)

- [Thomson Reuters CoCounsel tests custom LLM from OpenAI, broadening its multi-model product strategy](https://www.thomsonreuters.com/en/press-releases/2024/november/thomson-reuters-cocounsel-tests-custom-llm-from-openai-broadening-its-multi-model-product-strategy.html)