合同摘要句句属实,仍可能漏掉条款
长上下文模型容易丢失文档中段内容,应按条款切分合同,再对照条款清单核查摘要。
要点速览
- 大模型对上下文开头和结尾信息的利用,往往好于中间部分,因此一次调用总结 300 页合同,很容易漏掉条款。
- map-reduce 可以逐段审查各部分的摘要;refine 会留下中间版本,可以追溯条款是在哪一步消失的。
- 忠实的摘要不一定完整。完整性要靠对照文档自身的条款清单来衡量。
设想这样一个场景:客户的法务团队发来一份 300 页的框架协议,要求在周五开会前拿到摘要。
你把整份文件交给一个长上下文模型,拿到两页整洁的摘要,通读一遍,没发现一句错话。三周后,客户的律师问:第 180 页的自动续约条款,摘要里为什么只字未提?
模型并没有编造任何内容,它只是漏掉了一些东西。而在合同里,遗漏和错误一样危险。本文介绍如何搭建一条摘要流水线,让它能回答每个客户迟早会问的问题:“我们漏掉条款了吗?”
服务法务、采购或保险客户的前线部署工程师(FDE)很早就会碰到这个问题。把摘要写得好看很容易,难的是证明它完整。
为什么一次调用会漏掉条款?
2024 年发表在 TACL 第 12 卷的“Lost in the Middle”研究发现,所需信息位于上下文开头或结尾时,大模型(LLM)的表现通常最好;信息位于长上下文中间时,表现明显下降。即便是专为长上下文设计的模型,作者也观察到了这一现象。
在一份 300 页的合同里,“中间”几乎就是整个正文。客户需要弄清的义务,例如责任、赔偿、终止和续约,通常分散在正文各处,而不是集中在开头或结尾几页。
所以解决办法不是换一个上下文更长的模型,而是切分文档,让任何条款都不必处在过长上下文的中间。常见的切分方式有两种。
map-reduce 还是 refine:看客户问什么
LangChain 一个旧版本(0.0.149)的文档这样描述 map_reduce 链:分别总结每个部分,再合并各部分摘要。refine 链则按顺序工作:维护一份摘要,每读一个新部分就更新一次。两者都可以返回中间步骤供你审查。
当前的 LangGraph 文档以 orchestrator-worker 之名描述了同样的思路:orchestrator 拆分任务,worker 通过 Send API 并行执行,synthesizer 把各 worker 的输出合成最终结果。无论用哪个库,结构仍然是 map-reduce。
Map-reduce
- 每个部分独立总结,可以并行处理
- 每个部分的摘要都是可以逐条核查的证据
- 条款之间的关联容易丢失,例如第 1 条中的定义会改变第 14 条的含义
Refine
- 顺序阅读,能保留条款之间的脉络
- 每个中间版本都能显示摘要在处理每一部分后如何变化
- 速度更慢,后面的部分可能覆盖前面的内容,导致前一步已记录的条款丢失
规则很简单:如果客户需要一份完整的条款清单来审阅,选 map-reduce;如果客户需要一段能把握整份合同逻辑的叙述,选 refine,但要保存每一个中间版本。
示例:按条款切分,而不是按 token 数切分
第一个常见错误是每 N 个 token 切一块。这样可能把一个条款切成两半,还会丢掉条款编号。应该按律师使用的结构来切:Article、Clause、Section。
import re
HEADING = re.compile(r"^(Article|Clause|Section)\s+(\d+(?:\.\d+)*)", re.M)
def split_by_clause(text):
marks, parent = [], None
for m in HEADING.finditer(text):
kind, num = m.group(1), m.group(2)
if kind == "Clause" and parent:
cid = f"{parent}.{num}" # 第 14 条(Article)的第 2 款(Clause)-> "14.2"
else:
parent = num
cid = num
marks.append((m.start(), cid))
chunks = []
for i, (start, cid) in enumerate(marks):
end = marks[i + 1][0] if i + 1 < len(marks) else len(text)
chunks.append({"clause_id": cid, "text": text[start:end]})
return chunks
MAP_PROMPT = """合同定义:{definitions}
请严格按照上述定义总结下面的条款,返回 JSON:
{{"clause_id": ..., "type": ..., "obligation": ..., "quote": "<最重要的一句原文>"}}
即使条款看起来只是程序性内容,也不要跳过。
{clause}"""
def map_prompt(chunk, definitions):
return MAP_PROMPT.format(definitions=definitions, clause=chunk["text"])
有两个小细节值得注意。Clause 挂在所属的 Article 下面,所以第 14 条的第 2 款得到的 id 是“14.2”,不会和其他所有“Clause 2”冲突。另外,MAP_PROMPT 中示例 JSON 的花括号写成了 {{ }},以免 .format() 把它们当成占位符。
关键在 split_by_clause 函数。它给出一份由代码生成、与模型无关的条款清单,这就是评分用的标准答案。map 步骤接收定义清单,返回带 clause_id 的 JSON;reduce 步骤把这些 JSON 对象合并成交给客户的摘要。
接下来是最重要的一笔账。假设正则找到 140 个条款。先数一数 map 步骤输出里出现了多少个 clause_id,再在最终摘要里数一遍。如果 map 步骤有全部 140 个,而最终摘要只提到 118 个,说明有 22 个条款在 reduce 步骤丢失,而且你能准确知道是哪 22 个。
忠实度回答不了遗漏问题
2025 年发布的一个多领域基准,把遗漏关键信息与幻觉、重复一起,列为大模型摘要的已知问题。
该基准从三个独立维度给摘要打分:忠实度、完整性和简洁性。作者还指出,此前许多基准只衡量忠实度,即与原文事实是否一致。
这一点直接适用于合同。开头场景里的摘要忠实度满分,因为没有一句是错的;但它的完整性很低,而衡量条款丢失的正是完整性。
因此,评测需要分成两部分。忠实度:把每条 quote 与原文对照。完整性:用覆盖矩阵检查,每一行是正则得到的一个 clause_id,列分别是“出现在 map 输出中”“出现在最终摘要中”和“条款类型”。
条款丢了,就找出丢在哪一步
覆盖矩阵告诉你丢了哪个条款,中间步骤告诉你丢在哪一步。用 map-reduce 时,如果某条款不在 map 输出里,问题出在 map 提示词或切分上;如果它在 map 输出里却不在最终摘要里,就是 reduce 步骤压缩得太狠。
用 refine 时要记住,这条链按顺序读取各部分,后面的部分可能覆盖前面记录的内容。设想第 47 条在第 12 版里还在,到第 13 版却不见了。
这说明第 13 次更新把第 47 条挤出了摘要。解决办法是在 refine 提示词里加一条指令,要求保留已记录的条款清单,然后重跑。
修复之后,不要把整条流水线重跑一遍、指望这次能成功。只重跑丢失的条款,把结果放进摘要中一个明确标注的部分,再让覆盖矩阵确认 140 个条款一个不少。
让客户失去信任的错误
第一个错误:交付摘要时不附覆盖率数字。律师不会因为摘要读起来顺就信任它。看到“已核查 140 个条款中的 140 个”这一行,并附上明细表,他们才会信任。
第二个错误:让模型自己建立条款清单。这等于让可能漏掉内容的系统,自己判断有没有漏。参照清单必须来自文档结构,用正则或解析器提取。
第三个错误:忽视附件和定义。合同开头的一条定义,可能改变第 200 页某个条款的含义。所以要把定义清单放进每个 map 步骤的提示词,让每个条款都按其定义含义来总结,reduce 提示词里也要放。
在简历上展示这项能力
在 FDE 岗位的申请材料里,“搭建了带条款级覆盖检查的长文档摘要流水线”这样一句,远比“有 LLM 使用经验”有分量。阅读岗位描述时,留意 document intelligence、evals 或 legal tech 这类字眼,这些正是天天用到这项技能的地方。
面试中如果被问到如何评估摘要,可以从忠实度和完整性两个维度作答,再介绍覆盖矩阵。把两者清楚地区分开,能让面试官看出你真的回答过客户那个问题:“我们漏掉什么了吗?”
客户不会记得你的摘要写得多好,只会记得有一次漏了条款,而你没有发现。
这篇文章对你有帮助吗?
感谢你的反馈!
5 个信源
- Lost in the Middle: How Language Models Use Long Contexts
- Lost in the Middle: How Language Models Use Long Contexts (TACL 2024) · 2024
- Summarization (LangChain 0.0.149 documentation notebook)
- LangGraph workflows and agents - Docs by LangChain
- Towards Multi-dimensional Evaluation of LLM Summarization across Domains and Languages