FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

模型为何会编出一条合同条款?用四个 LLM 概念拆解

提示词里写“不要编造”有时管用,但只有弄清模型看到了什么、怎样选词,才知道原因和该修哪里。

分享微博

要点速览

  • LLM 根据提示词和自己刚写出的内容,一次生成一个 Token,它并不查找事实。
  • 请求里的所有内容都占用上下文窗口,上下文越长,模型反而可能越不准确(上下文腐化)。
  • 模型编造,部分原因在于训练和评测奖励猜测而非承认不确定,因此系统设计必须让“不知道”成为有效答案。
四张按顺序排列的卡片展示了排查模型编造问题的顺序。第 1 步以橙色突出:看桌上有什么,即逐字记录请求,并统计上下文窗口中每个部分的 Token 数。第 2 步:检查解码参数,例如从营销演示中照搬来的 0.9 温度,而严密推理任务需要低于 0.4。第 3 步:检查评测是否奖励猜测,即是否把“我不知道”判为错误,并加入无解的问题。第 4 步:把这次编造案例加入评测集,以免错误悄悄复发。下方是第 14.3 条编造案例中第 1 步的示意 Token 预算,当时模型被问及投诉截止期限。输入总计 49,050 个 Token,其中 20 轮演示历史占 41,600 个,超过 84%。系统加问题占 1,850 个,工具定义占 3,200 个,检索到的文档占 2,400 个,且没有一段检索内容涉及投诉截止期限。
按顺序排查编造:先看桌上有什么,再看解码参数,然后看评测如何给猜测打分,最后把错误变成测试。在这个示意案例中,对话历史占了上下文的 84% 以上,而真正需要的文档根本不在桌上。

在一家保险公司做第三次演示时,法务负责人向内部助手询问理赔申请的截止期限。模型回答得很流畅,还引用了“第 14.3 条”。可客户提供的文档里根本没有第 14.3 条。这个场景是假设的,但上线过助手的团队都会觉得眼熟。

很多工程师的反应是在提示词里加一句“不要编造”,然后重跑一遍。有时确实管用,但不知道它为什么管用,下周错误再出现时就无迹可循。

前线部署工程师(FDE)要回答的是一个更难的问题:模型看到了什么,它被配置成怎样选词,又为什么选择猜测,而不是说“我不知道”?

Token、上下文窗口、温度和幻觉这四个概念,构成了诊断这类故障的工具箱。本文按照在客户现场调试时的使用顺序,逐一讲解。

模型不查资料,它只是接着往下写

Hugging Face Transformers 文档这样描述 LLM:模型经过训练,根据初始文本(提示词)以及它自己刚生成的内容,生成下一个 Token。

这一点必须放在最前面,因为“第 14.3 条”并不是从哪个数据库里检索出来的。模型写下“第”,接着看到“第”后面通常跟一个数字,然后是一个点,再是一个数字。在模型看来,这串内容完全说得通;至于它是否属实,模型从不检查。

模型如何选择下一个 Token,是一个由你控制的参数。Transformers 中 generate() 函数的默认方式是贪心搜索,总是选概率最高的 Token。它适合必须紧贴输入的任务,比如翻译或转写,但不适合创意类任务。

采样能产生更多样的输出,而温度决定了所选 Token 的不可预测程度。

Hugging Face 建议,创意类任务的温度设在 0.8 以上,需要严密推理的任务设在 0.4 以下。温度只在开启采样时才生效。一个查询保单条款的助手若以高温度运行,只会徒增风险,毫无收益。

上下文窗口是一张书桌,不是一座图书馆

Claude API 文档把上下文窗口定义为模型生成回答时能参考的全部文本,回答本身也包括在内。它是工作记忆,与训练数据截然不同。不在这张书桌上的东西,模型只能凭训练时的模糊记忆,或者干脆去猜。

新手容易低估的是书桌上到底放了多少东西。同一份文档指出,请求中的一切都占用空间:系统提示词、messages 中的每一条(包括工具结果、图片和文档)、工具定义,以及模型的输出。

在多轮对话中,上一轮的输出会成为下一轮的输入,因此历史记录不断增长,直到触及上限。

此时,“多塞点文档保险一些”的本能反应会适得其反。Claude 文档说得很明确:随着 Token 数量增加,准确率和召回率都会下降,这种现象叫作上下文腐化(context rot)。上下文更大并不会自动带来更好的结果,所以决定往里放什么,是一项真正的工程决策。

拆解“第 14.3 条”案例

回到那家保险公司。第一步是记录实际发出的完整请求,而不只是用户的问题。然后用 Token 计数 API 统计每个部分的 Token 数,Claude 文档推荐用它在发送前做估算。

技巧在于多次计数,每次加入一个组成部分,再取差值,就能看出各部分各占多少:

import anthropic
client = anthropic.Anthropic()

MODEL = "YOUR_PROJECT_MODEL"  # 替换为项目实际使用的模型

def count(messages, tools=None):
    kw = dict(model=MODEL, system=SYSTEM, messages=messages)
    if tools:
        kw["tools"] = tools
    return client.messages.count_tokens(**kw).input_tokens

question = {"role": "user", "content": QUESTION}
question_with_docs = {"role": "user", "content": DOCS + QUESTION}

base         = count([question])
with_tools   = count([question], TOOLS)
with_history = count(HISTORY + [question], TOOLS)
full         = count(HISTORY + [question_with_docs], TOOLS)

print("系统提示词 + 问题:", base)
print("工具定义:        ", with_tools - base)
print("对话历史:        ", with_history - with_tools)
print("检索到的文档:    ", full - with_history)
print("输入总计:        ", full)

假设这个案例的输出如下(示意数字):

系统提示词 + 问题: 1850
工具定义:         3200
对话历史:         41600
检索到的文档:     2400
输入总计:         49050

解读这张表:此前二十轮演示的历史记录占了 49,050 个 Token 中的 41,600 个,超过预算的 84%。检索步骤返回的三段内容只占 2,400 个 Token,而且逐一查看后发现,没有一段提到理赔截止期限。

于是有了两个嫌疑:所需的信息从未出现在书桌上,而书桌的大部分被无关的历史记录占满。

接着打开配置文件。如果助手的温度是 0.9,原因是有人从营销邮件的演示里照搬过来,那就是第三个嫌疑。三者都能用常规工程手段解决:裁剪历史记录、修复检索、调低温度。

即便三者都修好了,仍剩一个问题:模型为什么不直接说文档里没有这条信息?

模型为什么宁可猜,也不说“我不知道”

Kalai、Nachum、Vempala 和 Zhang 的论文《Why Language Models Hallucinate》给出了相当直白的回答。作者认为,训练和评测流程奖励的是猜测,而不是承认不确定。

模型被优化成擅长考试的考生,而在考试中,没把握时猜一把仍然有助于提分。

他们还指出,幻觉并不神秘:它起源于二分类中的普通错误,也就是无法区分真陈述和假陈述。这样一来,FDE 在客户现场的任务就相当清楚了。

如果评测集只给“正确答案”打分,把“我不知道”判为错误,那就是在复制让模型去猜的那种激励。

合理的做法是在两端都让“文档中没有”成为有效答案。在提示词中明确说明模型可以拒答,并且必须指出所依据的条款。在评测中加入刻意无解的问题,对恰当的拒答给高分。

常见错误

最常见的错误是把上下文窗口当硬盘,能塞多少塞多少,而它其实是工作记忆,塞得过满就会退化。第二个错误是忘了工具定义和输出也占空间,于是一个在三轮演示中运行良好的请求,到了真实用户的第三十轮就崩了。

第三个错误是凭感觉设置温度,或者从别的项目照搬。第四个最难察觉:评测集只统计正确答案,因此既发现不了、也防不住那些自信却编造的回答。

这四个错误都可以避免,办法是按图中的顺序调试:先看书桌上有什么,再看解码参数,最后看系统如何奖励猜测,然后把故障变成测试用例,让它不会悄悄复发。

值得写进简历的是这套流程,而不是一句“精通提示词工程”,例如:“通过加入无解问题的评测和按组件划分的 Token 预算,减少了编造的回答”。

客户不会记得你怎么解释 Token 是什么。他们会记得,有一次他们的助手回答“现有文档未规定该期限”,而不是编出第 14.3 条,从那一刻起,他们才开始信任这个系统。

这篇文章对你有帮助吗?

3 个信源
路线图上的下一篇 · 阶段 3: AI 应用做 RAG 之前先数 token,你可能根本用不上它Anthropic 建议 20 万 token 以内整库放进提示词;超过这个规模,先测 Recall@k,再怪模型。