FDE Times 数据在招 FDE 职位 873▼9 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 55在招公司 181支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

合同摘要句句属实,仍可能漏掉条款

长上下文模型容易丢失文档中段内容,应按条款切分合同,再对照条款清单核查摘要。

分享微博

要点速览

  • 大模型对上下文开头和结尾信息的利用,往往好于中间部分,因此一次调用总结 300 页合同,很容易漏掉条款。
  • map-reduce 可以逐段审查各部分的摘要;refine 会留下中间版本,可以追溯条款是在哪一步消失的。
  • 忠实的摘要不一定完整。完整性要靠对照文档自身的条款清单来衡量。
横向条形图:正则清单共有 140 个条款,map 步骤输出也是 140 个,最终摘要只有 118 个。相差的 22 个条款用橙色标出,注明在 reduce 步骤丢失。
在每一步统计 clause_id,覆盖矩阵能准确显示条款在哪里丢失:本例中 map 步骤保留了全部 140 个条款,reduce 步骤丢了 22 个。来源:文中的假设示例。

设想这样一个场景:客户的法务团队发来一份 300 页的框架协议,要求在周五开会前拿到摘要。

你把整份文件交给一个长上下文模型,拿到两页整洁的摘要,通读一遍,没发现一句错话。三周后,客户的律师问:第 180 页的自动续约条款,摘要里为什么只字未提?

模型并没有编造任何内容,它只是漏掉了一些东西。而在合同里,遗漏和错误一样危险。本文介绍如何搭建一条摘要流水线,让它能回答每个客户迟早会问的问题:“我们漏掉条款了吗?”

服务法务、采购或保险客户的前线部署工程师(FDE)很早就会碰到这个问题。把摘要写得好看很容易,难的是证明它完整。

为什么一次调用会漏掉条款?

2024 年发表在 TACL 第 12 卷的“Lost in the Middle”研究发现,所需信息位于上下文开头或结尾时,大模型(LLM)的表现通常最好;信息位于长上下文中间时,表现明显下降。即便是专为长上下文设计的模型,作者也观察到了这一现象。

在一份 300 页的合同里,“中间”几乎就是整个正文。客户需要弄清的义务,例如责任、赔偿、终止和续约,通常分散在正文各处,而不是集中在开头或结尾几页。

所以解决办法不是换一个上下文更长的模型,而是切分文档,让任何条款都不必处在过长上下文的中间。常见的切分方式有两种。

map-reduce 还是 refine:看客户问什么

LangChain 一个旧版本(0.0.149)的文档这样描述 map_reduce 链:分别总结每个部分,再合并各部分摘要。refine 链则按顺序工作:维护一份摘要,每读一个新部分就更新一次。两者都可以返回中间步骤供你审查。

当前的 LangGraph 文档以 orchestrator-worker 之名描述了同样的思路:orchestrator 拆分任务,worker 通过 Send API 并行执行,synthesizer 把各 worker 的输出合成最终结果。无论用哪个库,结构仍然是 map-reduce。

Map-reduce

  • 每个部分独立总结,可以并行处理
  • 每个部分的摘要都是可以逐条核查的证据
  • 条款之间的关联容易丢失,例如第 1 条中的定义会改变第 14 条的含义

Refine

  • 顺序阅读,能保留条款之间的脉络
  • 每个中间版本都能显示摘要在处理每一部分后如何变化
  • 速度更慢,后面的部分可能覆盖前面的内容,导致前一步已记录的条款丢失

规则很简单:如果客户需要一份完整的条款清单来审阅,选 map-reduce;如果客户需要一段能把握整份合同逻辑的叙述,选 refine,但要保存每一个中间版本。

示例:按条款切分,而不是按 token 数切分

第一个常见错误是每 N 个 token 切一块。这样可能把一个条款切成两半,还会丢掉条款编号。应该按律师使用的结构来切:Article、Clause、Section。

import re

HEADING = re.compile(r"^(Article|Clause|Section)\s+(\d+(?:\.\d+)*)", re.M)

def split_by_clause(text):
    marks, parent = [], None
    for m in HEADING.finditer(text):
        kind, num = m.group(1), m.group(2)
        if kind == "Clause" and parent:
            cid = f"{parent}.{num}"  # 第 14 条(Article)的第 2 款(Clause)-> "14.2"
        else:
            parent = num
            cid = num
        marks.append((m.start(), cid))
    chunks = []
    for i, (start, cid) in enumerate(marks):
        end = marks[i + 1][0] if i + 1 < len(marks) else len(text)
        chunks.append({"clause_id": cid, "text": text[start:end]})
    return chunks

MAP_PROMPT = """合同定义:{definitions}
请严格按照上述定义总结下面的条款,返回 JSON:
{{"clause_id": ..., "type": ..., "obligation": ..., "quote": "<最重要的一句原文>"}}
即使条款看起来只是程序性内容,也不要跳过。

{clause}"""

def map_prompt(chunk, definitions):
    return MAP_PROMPT.format(definitions=definitions, clause=chunk["text"])

有两个小细节值得注意。Clause 挂在所属的 Article 下面,所以第 14 条的第 2 款得到的 id 是“14.2”,不会和其他所有“Clause 2”冲突。另外,MAP_PROMPT 中示例 JSON 的花括号写成了 {{ }},以免 .format() 把它们当成占位符。

关键在 split_by_clause 函数。它给出一份由代码生成、与模型无关的条款清单,这就是评分用的标准答案。map 步骤接收定义清单,返回带 clause_id 的 JSON;reduce 步骤把这些 JSON 对象合并成交给客户的摘要。

接下来是最重要的一笔账。假设正则找到 140 个条款。先数一数 map 步骤输出里出现了多少个 clause_id,再在最终摘要里数一遍。如果 map 步骤有全部 140 个,而最终摘要只提到 118 个,说明有 22 个条款在 reduce 步骤丢失,而且你能准确知道是哪 22 个。

忠实度回答不了遗漏问题

2025 年发布的一个多领域基准,把遗漏关键信息与幻觉、重复一起,列为大模型摘要的已知问题。

该基准从三个独立维度给摘要打分:忠实度、完整性和简洁性。作者还指出,此前许多基准只衡量忠实度,即与原文事实是否一致。

这一点直接适用于合同。开头场景里的摘要忠实度满分,因为没有一句是错的;但它的完整性很低,而衡量条款丢失的正是完整性。

因此,评测需要分成两部分。忠实度:把每条 quote 与原文对照。完整性:用覆盖矩阵检查,每一行是正则得到的一个 clause_id,列分别是“出现在 map 输出中”“出现在最终摘要中”和“条款类型”。

条款丢了,就找出丢在哪一步

覆盖矩阵告诉你丢了哪个条款,中间步骤告诉你丢在哪一步。用 map-reduce 时,如果某条款不在 map 输出里,问题出在 map 提示词或切分上;如果它在 map 输出里却不在最终摘要里,就是 reduce 步骤压缩得太狠。

用 refine 时要记住,这条链按顺序读取各部分,后面的部分可能覆盖前面记录的内容。设想第 47 条在第 12 版里还在,到第 13 版却不见了。

这说明第 13 次更新把第 47 条挤出了摘要。解决办法是在 refine 提示词里加一条指令,要求保留已记录的条款清单,然后重跑。

修复之后,不要把整条流水线重跑一遍、指望这次能成功。只重跑丢失的条款,把结果放进摘要中一个明确标注的部分,再让覆盖矩阵确认 140 个条款一个不少。

让客户失去信任的错误

第一个错误:交付摘要时不附覆盖率数字。律师不会因为摘要读起来顺就信任它。看到“已核查 140 个条款中的 140 个”这一行,并附上明细表,他们才会信任。

第二个错误:让模型自己建立条款清单。这等于让可能漏掉内容的系统,自己判断有没有漏。参照清单必须来自文档结构,用正则或解析器提取。

第三个错误:忽视附件和定义。合同开头的一条定义,可能改变第 200 页某个条款的含义。所以要把定义清单放进每个 map 步骤的提示词,让每个条款都按其定义含义来总结,reduce 提示词里也要放。

在简历上展示这项能力

在 FDE 岗位的申请材料里,“搭建了带条款级覆盖检查的长文档摘要流水线”这样一句,远比“有 LLM 使用经验”有分量。阅读岗位描述时,留意 document intelligence、evals 或 legal tech 这类字眼,这些正是天天用到这项技能的地方。

面试中如果被问到如何评估摘要,可以从忠实度和完整性两个维度作答,再介绍覆盖矩阵。把两者清楚地区分开,能让面试官看出你真的回答过客户那个问题:“我们漏掉什么了吗?”

客户不会记得你的摘要写得多好,只会记得有一次漏了条款,而你没有发现。

这篇文章对你有帮助吗?

5 个信源
路线图上的下一篇 · 阶段 2: 全栈工程能力G62 读错一行,物流 Agent 就会编出错误时间线把 TMS 接入 Agent 前,先弄懂五种关键 X12 报文,以及 G62 为何随报文类型改变含义。