# 模型为何会编出一条合同条款？用四个 LLM 概念拆解

> 提示词里写“不要编造”有时管用，但只有弄清模型看到了什么、怎样选词，才知道原因和该修哪里。

原文: https://fdetimes.net/zh/guides/llm-basics-tokens-context-temperature-hallucination/

在一家保险公司做第三次演示时，法务负责人向内部助手询问理赔申请的截止期限。模型回答得很流畅，还引用了“第 14.3 条”。可客户提供的文档里根本没有第 14.3 条。这个场景是假设的，但上线过助手的团队都会觉得眼熟。

很多工程师的反应是在提示词里加一句“不要编造”，然后重跑一遍。有时确实管用，但不知道它为什么管用，下周错误再出现时就无迹可循。

前线部署工程师（FDE）要回答的是一个更难的问题：模型看到了什么，它被配置成怎样选词，又为什么选择猜测，而不是说“我不知道”？

Token、上下文窗口、温度和幻觉这四个概念，构成了诊断这类故障的工具箱。本文按照在客户现场调试时的使用顺序，逐一讲解。

## 模型不查资料，它只是接着往下写

Hugging Face Transformers 文档这样描述 LLM：模型经过训练，根据初始文本（提示词）以及它自己刚生成的内容，生成下一个 Token。

这一点必须放在最前面，因为“第 14.3 条”并不是从哪个数据库里检索出来的。模型写下“第”，接着看到“第”后面通常跟一个数字，然后是一个点，再是一个数字。在模型看来，这串内容完全说得通；至于它是否属实，模型从不检查。

模型如何选择下一个 Token，是一个由你控制的参数。Transformers 中 generate() 函数的默认方式是贪心搜索，总是选概率最高的 Token。它适合必须紧贴输入的任务，比如翻译或转写，但不适合创意类任务。

采样能产生更多样的输出，而温度决定了所选 Token 的不可预测程度。

Hugging Face 建议，创意类任务的温度设在 0.8 以上，需要严密推理的任务设在 0.4 以下。温度只在开启采样时才生效。一个查询保单条款的助手若以高温度运行，只会徒增风险，毫无收益。

## 上下文窗口是一张书桌，不是一座图书馆

Claude API 文档把上下文窗口定义为模型生成回答时能参考的全部文本，回答本身也包括在内。它是工作记忆，与训练数据截然不同。不在这张书桌上的东西，模型只能凭训练时的模糊记忆，或者干脆去猜。

新手容易低估的是书桌上到底放了多少东西。同一份文档指出，请求中的一切都占用空间：系统提示词、messages 中的每一条（包括工具结果、图片和文档）、工具定义，以及模型的输出。

在多轮对话中，上一轮的输出会成为下一轮的输入，因此历史记录不断增长，直到触及上限。

此时，“多塞点文档保险一些”的本能反应会适得其反。Claude 文档说得很明确：随着 Token 数量增加，准确率和召回率都会下降，这种现象叫作上下文腐化（context rot）。上下文更大并不会自动带来更好的结果，所以决定往里放什么，是一项真正的工程决策。

**要点:** 模型编造时，第一个问题不是“模型是不是太笨”，而是“当时它的书桌上放着什么”。

## 拆解“第 14.3 条”案例

回到那家保险公司。第一步是记录实际发出的完整请求，而不只是用户的问题。然后用 Token 计数 API 统计每个部分的 Token 数，Claude 文档推荐用它在发送前做估算。

技巧在于多次计数，每次加入一个组成部分，再取差值，就能看出各部分各占多少：

```python
import anthropic
client = anthropic.Anthropic()

MODEL = "YOUR_PROJECT_MODEL"  # 替换为项目实际使用的模型

def count(messages, tools=None):
    kw = dict(model=MODEL, system=SYSTEM, messages=messages)
    if tools:
        kw["tools"] = tools
    return client.messages.count_tokens(**kw).input_tokens

question = {"role": "user", "content": QUESTION}
question_with_docs = {"role": "user", "content": DOCS + QUESTION}

base         = count([question])
with_tools   = count([question], TOOLS)
with_history = count(HISTORY + [question], TOOLS)
full         = count(HISTORY + [question_with_docs], TOOLS)

print("系统提示词 + 问题：", base)
print("工具定义：        ", with_tools - base)
print("对话历史：        ", with_history - with_tools)
print("检索到的文档：    ", full - with_history)
print("输入总计：        ", full)
```

假设这个案例的输出如下（示意数字）：

```
系统提示词 + 问题： 1850
工具定义：         3200
对话历史：         41600
检索到的文档：     2400
输入总计：         49050
```

解读这张表：此前二十轮演示的历史记录占了 49,050 个 Token 中的 41,600 个，超过预算的 84%。检索步骤返回的三段内容只占 2,400 个 Token，而且逐一查看后发现，没有一段提到理赔截止期限。

于是有了两个嫌疑：所需的信息从未出现在书桌上，而书桌的大部分被无关的历史记录占满。

接着打开配置文件。如果助手的温度是 0.9，原因是有人从营销邮件的演示里照搬过来，那就是第三个嫌疑。三者都能用常规工程手段解决：裁剪历史记录、修复检索、调低温度。

即便三者都修好了，仍剩一个问题：模型为什么不直接说文档里没有这条信息？

## 模型为什么宁可猜，也不说“我不知道”

Kalai、Nachum、Vempala 和 Zhang 的论文《Why Language Models Hallucinate》给出了相当直白的回答。作者认为，训练和评测流程奖励的是猜测，而不是承认不确定。

模型被优化成擅长考试的考生，而在考试中，没把握时猜一把仍然有助于提分。

他们还指出，幻觉并不神秘：它起源于二分类中的普通错误，也就是无法区分真陈述和假陈述。这样一来，FDE 在客户现场的任务就相当清楚了。

如果评测集只给“正确答案”打分，把“我不知道”判为错误，那就是在复制让模型去猜的那种激励。

合理的做法是在两端都让“文档中没有”成为有效答案。在提示词中明确说明模型可以拒答，并且必须指出所依据的条款。在评测中加入刻意无解的问题，对恰当的拒答给高分。

## 常见错误

最常见的错误是把上下文窗口当硬盘，能塞多少塞多少，而它其实是工作记忆，塞得过满就会退化。第二个错误是忘了工具定义和输出也占空间，于是一个在三轮演示中运行良好的请求，到了真实用户的第三十轮就崩了。

第三个错误是凭感觉设置温度，或者从别的项目照搬。第四个最难察觉：评测集只统计正确答案，因此既发现不了、也防不住那些自信却编造的回答。

这四个错误都可以避免，办法是按图中的顺序调试：先看书桌上有什么，再看解码参数，最后看系统如何奖励猜测，然后把故障变成测试用例，让它不会悄悄复发。

值得写进简历的是这套流程，而不是一句“精通提示词工程”，例如：“通过加入无解问题的评测和按组件划分的 Token 预算，减少了编造的回答”。

客户不会记得你怎么解释 Token 是什么。他们会记得，有一次他们的助手回答“现有文档未规定该期限”，而不是编出第 14.3 条，从那一刻起，他们才开始信任这个系统。

**本周动手试试:**

- 从项目中取一个真实请求，用 Token 计数 API 分别统计各部分（系统提示词、工具定义、历史记录、文档），整理出一张预算表。
- 写 10 个客户文档无法回答的问题，在系统里跑一遍，统计模型有几次愿意回答“文档中没有”。
- 在简历里加一行，具体说明你如何减少了编造：测了什么，改了什么，结果如何。

## 信源

- [Context windows (Claude API Docs)](https://platform.claude.com/docs/en/build-with-claude/context-windows)

- [Text generation (Hugging Face Transformers docs)](https://huggingface.co/docs/transformers/main/en/llm_tutorial)

- [Why Language Models Hallucinate (Kalai, Nachum, Vempala, Zhang)](https://arxiv.org/abs/2509.04664)
