# 合同摘要句句属实，仍可能漏掉条款

> 长上下文模型容易丢失文档中段内容，应按条款切分合同，再对照条款清单核查摘要。

原文: https://fdetimes.net/zh/guides/summarise-long-contracts-missed-clauses/

设想这样一个场景：客户的法务团队发来一份 300 页的框架协议，要求在周五开会前拿到摘要。

你把整份文件交给一个长上下文模型，拿到两页整洁的摘要，通读一遍，没发现一句错话。三周后，客户的律师问：第 180 页的自动续约条款，摘要里为什么只字未提？

模型并没有编造任何内容，它只是漏掉了一些东西。而在合同里，遗漏和错误一样危险。本文介绍如何搭建一条摘要流水线，让它能回答每个客户迟早会问的问题：“我们漏掉条款了吗？”

服务法务、采购或保险客户的前线部署工程师（FDE）很早就会碰到这个问题。把摘要写得好看很容易，难的是证明它完整。

## 为什么一次调用会漏掉条款？

2024 年发表在 TACL 第 12 卷的“Lost in the Middle”研究发现，所需信息位于上下文开头或结尾时，大模型（LLM）的表现通常最好；信息位于长上下文中间时，表现明显下降。即便是专为长上下文设计的模型，作者也观察到了这一现象。

在一份 300 页的合同里，“中间”几乎就是整个正文。客户需要弄清的义务，例如责任、赔偿、终止和续约，通常分散在正文各处，而不是集中在开头或结尾几页。

所以解决办法不是换一个上下文更长的模型，而是切分文档，让任何条款都不必处在过长上下文的中间。常见的切分方式有两种。

## map-reduce 还是 refine：看客户问什么

LangChain 一个旧版本（0.0.149）的文档这样描述 `map_reduce` 链：分别总结每个部分，再合并各部分摘要。`refine` 链则按顺序工作：维护一份摘要，每读一个新部分就更新一次。两者都可以返回中间步骤供你审查。

当前的 LangGraph 文档以 orchestrator-worker 之名描述了同样的思路：orchestrator 拆分任务，worker 通过 Send API 并行执行，synthesizer 把各 worker 的输出合成最终结果。无论用哪个库，结构仍然是 map-reduce。

规则很简单：如果客户需要一份完整的条款清单来审阅，选 map-reduce；如果客户需要一段能把握整份合同逻辑的叙述，选 refine，但要保存每一个中间版本。

## 示例：按条款切分，而不是按 token 数切分

第一个常见错误是每 N 个 token 切一块。这样可能把一个条款切成两半，还会丢掉条款编号。应该按律师使用的结构来切：Article、Clause、Section。

```python
import re

HEADING = re.compile(r"^(Article|Clause|Section)\s+(\d+(?:\.\d+)*)", re.M)

def split_by_clause(text):
    marks, parent = [], None
    for m in HEADING.finditer(text):
        kind, num = m.group(1), m.group(2)
        if kind == "Clause" and parent:
            cid = f"{parent}.{num}"  # 第 14 条（Article）的第 2 款（Clause）-> "14.2"
        else:
            parent = num
            cid = num
        marks.append((m.start(), cid))
    chunks = []
    for i, (start, cid) in enumerate(marks):
        end = marks[i + 1][0] if i + 1 < len(marks) else len(text)
        chunks.append({"clause_id": cid, "text": text[start:end]})
    return chunks

MAP_PROMPT = """合同定义：{definitions}
请严格按照上述定义总结下面的条款，返回 JSON：
{{"clause_id": ..., "type": ..., "obligation": ..., "quote": "<最重要的一句原文>"}}
即使条款看起来只是程序性内容，也不要跳过。

{clause}"""

def map_prompt(chunk, definitions):
    return MAP_PROMPT.format(definitions=definitions, clause=chunk["text"])
```

有两个小细节值得注意。Clause 挂在所属的 Article 下面，所以第 14 条的第 2 款得到的 id 是“14.2”，不会和其他所有“Clause 2”冲突。另外，`MAP_PROMPT` 中示例 JSON 的花括号写成了 `{{ }}`，以免 `.format()` 把它们当成占位符。

关键在 `split_by_clause` 函数。它给出一份由代码生成、与模型无关的条款清单，这就是评分用的标准答案。map 步骤接收定义清单，返回带 `clause_id` 的 JSON；reduce 步骤把这些 JSON 对象合并成交给客户的摘要。

接下来是最重要的一笔账。假设正则找到 140 个条款。先数一数 map 步骤输出里出现了多少个 `clause_id`，再在最终摘要里数一遍。如果 map 步骤有全部 140 个，而最终摘要只提到 118 个，说明有 22 个条款在 reduce 步骤丢失，而且你能准确知道是哪 22 个。

## 忠实度回答不了遗漏问题

2025 年发布的一个多领域基准，把遗漏关键信息与幻觉、重复一起，列为大模型摘要的已知问题。

该基准从三个独立维度给摘要打分：忠实度、完整性和简洁性。作者还指出，此前许多基准只衡量忠实度，即与原文事实是否一致。

这一点直接适用于合同。开头场景里的摘要忠实度满分，因为没有一句是错的；但它的完整性很低，而衡量条款丢失的正是完整性。

**要点:** 一份没有一个错字的摘要，仍然可能是一份危险的摘要。

因此，评测需要分成两部分。忠实度：把每条 `quote` 与原文对照。完整性：用覆盖矩阵检查，每一行是正则得到的一个 `clause_id`，列分别是“出现在 map 输出中”“出现在最终摘要中”和“条款类型”。

## 条款丢了，就找出丢在哪一步

覆盖矩阵告诉你丢了哪个条款，中间步骤告诉你丢在哪一步。用 map-reduce 时，如果某条款不在 map 输出里，问题出在 map 提示词或切分上；如果它在 map 输出里却不在最终摘要里，就是 reduce 步骤压缩得太狠。

用 refine 时要记住，这条链按顺序读取各部分，后面的部分可能覆盖前面记录的内容。设想第 47 条在第 12 版里还在，到第 13 版却不见了。

这说明第 13 次更新把第 47 条挤出了摘要。解决办法是在 refine 提示词里加一条指令，要求保留已记录的条款清单，然后重跑。

修复之后，不要把整条流水线重跑一遍、指望这次能成功。只重跑丢失的条款，把结果放进摘要中一个明确标注的部分，再让覆盖矩阵确认 140 个条款一个不少。

## 让客户失去信任的错误

第一个错误：交付摘要时不附覆盖率数字。律师不会因为摘要读起来顺就信任它。看到“已核查 140 个条款中的 140 个”这一行，并附上明细表，他们才会信任。

第二个错误：让模型自己建立条款清单。这等于让可能漏掉内容的系统，自己判断有没有漏。参照清单必须来自文档结构，用正则或解析器提取。

第三个错误：忽视附件和定义。合同开头的一条定义，可能改变第 200 页某个条款的含义。所以要把定义清单放进每个 map 步骤的提示词，让每个条款都按其定义含义来总结，reduce 提示词里也要放。

## 在简历上展示这项能力

在 FDE 岗位的申请材料里，“搭建了带条款级覆盖检查的长文档摘要流水线”这样一句，远比“有 LLM 使用经验”有分量。阅读岗位描述时，留意 document intelligence、evals 或 legal tech 这类字眼，这些正是天天用到这项技能的地方。

面试中如果被问到如何评估摘要，可以从忠实度和完整性两个维度作答，再介绍覆盖矩阵。把两者清楚地区分开，能让面试官看出你真的回答过客户那个问题：“我们漏掉什么了吗？”

客户不会记得你的摘要写得多好，只会记得有一次漏了条款，而你没有发现。

**本周动手试试:**

- 找一份公开的合同样本，写一个正则切分出条款标题，数一数共有多少个条款。这就是你的参照清单。
- 用两种方式总结这份合同：一次调用，以及按条款做 map-reduce。比较两份摘要各漏掉了多少条款。
- 在流水线中加一步，打开中间步骤并保存中间摘要。下次客户再问，你就能指出条款是在哪一步丢失的。

## 信源

- [Lost in the Middle: How Language Models Use Long Contexts](https://ar5iv.labs.arxiv.org/html/2307.03172)

- [Lost in the Middle: How Language Models Use Long Contexts (TACL 2024)](https://aclanthology.org/2024.tacl-1.9/)

- [Summarization (LangChain 0.0.149 documentation notebook)](https://lagnchain.readthedocs.io/en/latest/modules/chains/index_examples/summarize.html)

- [LangGraph workflows and agents - Docs by LangChain](https://docs.langchain.com/oss/python/langgraph/workflows-agents)

- [Towards Multi-dimensional Evaluation of LLM Summarization across Domains and Languages](https://huggingface.co/papers/2506.00549.md)
