模型为何会编出一条合同条款?用四个 LLM 概念拆解
提示词里写“不要编造”有时管用,但只有弄清模型看到了什么、怎样选词,才知道原因和该修哪里。
要点速览
- LLM 根据提示词和自己刚写出的内容,一次生成一个 Token,它并不查找事实。
- 请求里的所有内容都占用上下文窗口,上下文越长,模型反而可能越不准确(上下文腐化)。
- 模型编造,部分原因在于训练和评测奖励猜测而非承认不确定,因此系统设计必须让“不知道”成为有效答案。
在一家保险公司做第三次演示时,法务负责人向内部助手询问理赔申请的截止期限。模型回答得很流畅,还引用了“第 14.3 条”。可客户提供的文档里根本没有第 14.3 条。这个场景是假设的,但上线过助手的团队都会觉得眼熟。
很多工程师的反应是在提示词里加一句“不要编造”,然后重跑一遍。有时确实管用,但不知道它为什么管用,下周错误再出现时就无迹可循。
前线部署工程师(FDE)要回答的是一个更难的问题:模型看到了什么,它被配置成怎样选词,又为什么选择猜测,而不是说“我不知道”?
Token、上下文窗口、温度和幻觉这四个概念,构成了诊断这类故障的工具箱。本文按照在客户现场调试时的使用顺序,逐一讲解。
模型不查资料,它只是接着往下写
Hugging Face Transformers 文档这样描述 LLM:模型经过训练,根据初始文本(提示词)以及它自己刚生成的内容,生成下一个 Token。
这一点必须放在最前面,因为“第 14.3 条”并不是从哪个数据库里检索出来的。模型写下“第”,接着看到“第”后面通常跟一个数字,然后是一个点,再是一个数字。在模型看来,这串内容完全说得通;至于它是否属实,模型从不检查。
模型如何选择下一个 Token,是一个由你控制的参数。Transformers 中 generate() 函数的默认方式是贪心搜索,总是选概率最高的 Token。它适合必须紧贴输入的任务,比如翻译或转写,但不适合创意类任务。
采样能产生更多样的输出,而温度决定了所选 Token 的不可预测程度。
Hugging Face 建议,创意类任务的温度设在 0.8 以上,需要严密推理的任务设在 0.4 以下。温度只在开启采样时才生效。一个查询保单条款的助手若以高温度运行,只会徒增风险,毫无收益。
上下文窗口是一张书桌,不是一座图书馆
Claude API 文档把上下文窗口定义为模型生成回答时能参考的全部文本,回答本身也包括在内。它是工作记忆,与训练数据截然不同。不在这张书桌上的东西,模型只能凭训练时的模糊记忆,或者干脆去猜。
新手容易低估的是书桌上到底放了多少东西。同一份文档指出,请求中的一切都占用空间:系统提示词、messages 中的每一条(包括工具结果、图片和文档)、工具定义,以及模型的输出。
在多轮对话中,上一轮的输出会成为下一轮的输入,因此历史记录不断增长,直到触及上限。
此时,“多塞点文档保险一些”的本能反应会适得其反。Claude 文档说得很明确:随着 Token 数量增加,准确率和召回率都会下降,这种现象叫作上下文腐化(context rot)。上下文更大并不会自动带来更好的结果,所以决定往里放什么,是一项真正的工程决策。
拆解“第 14.3 条”案例
回到那家保险公司。第一步是记录实际发出的完整请求,而不只是用户的问题。然后用 Token 计数 API 统计每个部分的 Token 数,Claude 文档推荐用它在发送前做估算。
技巧在于多次计数,每次加入一个组成部分,再取差值,就能看出各部分各占多少:
import anthropic
client = anthropic.Anthropic()
MODEL = "YOUR_PROJECT_MODEL" # 替换为项目实际使用的模型
def count(messages, tools=None):
kw = dict(model=MODEL, system=SYSTEM, messages=messages)
if tools:
kw["tools"] = tools
return client.messages.count_tokens(**kw).input_tokens
question = {"role": "user", "content": QUESTION}
question_with_docs = {"role": "user", "content": DOCS + QUESTION}
base = count([question])
with_tools = count([question], TOOLS)
with_history = count(HISTORY + [question], TOOLS)
full = count(HISTORY + [question_with_docs], TOOLS)
print("系统提示词 + 问题:", base)
print("工具定义: ", with_tools - base)
print("对话历史: ", with_history - with_tools)
print("检索到的文档: ", full - with_history)
print("输入总计: ", full)
假设这个案例的输出如下(示意数字):
系统提示词 + 问题: 1850
工具定义: 3200
对话历史: 41600
检索到的文档: 2400
输入总计: 49050
解读这张表:此前二十轮演示的历史记录占了 49,050 个 Token 中的 41,600 个,超过预算的 84%。检索步骤返回的三段内容只占 2,400 个 Token,而且逐一查看后发现,没有一段提到理赔截止期限。
于是有了两个嫌疑:所需的信息从未出现在书桌上,而书桌的大部分被无关的历史记录占满。
接着打开配置文件。如果助手的温度是 0.9,原因是有人从营销邮件的演示里照搬过来,那就是第三个嫌疑。三者都能用常规工程手段解决:裁剪历史记录、修复检索、调低温度。
即便三者都修好了,仍剩一个问题:模型为什么不直接说文档里没有这条信息?
模型为什么宁可猜,也不说“我不知道”
Kalai、Nachum、Vempala 和 Zhang 的论文《Why Language Models Hallucinate》给出了相当直白的回答。作者认为,训练和评测流程奖励的是猜测,而不是承认不确定。
模型被优化成擅长考试的考生,而在考试中,没把握时猜一把仍然有助于提分。
他们还指出,幻觉并不神秘:它起源于二分类中的普通错误,也就是无法区分真陈述和假陈述。这样一来,FDE 在客户现场的任务就相当清楚了。
如果评测集只给“正确答案”打分,把“我不知道”判为错误,那就是在复制让模型去猜的那种激励。
合理的做法是在两端都让“文档中没有”成为有效答案。在提示词中明确说明模型可以拒答,并且必须指出所依据的条款。在评测中加入刻意无解的问题,对恰当的拒答给高分。
常见错误
最常见的错误是把上下文窗口当硬盘,能塞多少塞多少,而它其实是工作记忆,塞得过满就会退化。第二个错误是忘了工具定义和输出也占空间,于是一个在三轮演示中运行良好的请求,到了真实用户的第三十轮就崩了。
第三个错误是凭感觉设置温度,或者从别的项目照搬。第四个最难察觉:评测集只统计正确答案,因此既发现不了、也防不住那些自信却编造的回答。
这四个错误都可以避免,办法是按图中的顺序调试:先看书桌上有什么,再看解码参数,最后看系统如何奖励猜测,然后把故障变成测试用例,让它不会悄悄复发。
值得写进简历的是这套流程,而不是一句“精通提示词工程”,例如:“通过加入无解问题的评测和按组件划分的 Token 预算,减少了编造的回答”。
客户不会记得你怎么解释 Token 是什么。他们会记得,有一次他们的助手回答“现有文档未规定该期限”,而不是编出第 14.3 条,从那一刻起,他们才开始信任这个系统。
这篇文章对你有帮助吗?
感谢你的反馈!