FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

温度参数逐渐被锁定,调参却没有过时

max tokens、停止序列和惩罚参数仍决定输出能否用,每类任务都要单独配置。

分享微博

要点速览

  • 调参之前,先确认模型还允许改什么:Opus 4.6 之后发布的 Claude 模型不再接受 temperature,Google 也建议 Gemini 3.x 保持默认值。
  • 每组控制项只调一个:temperature 或 top-p,频率惩罚或存在惩罚。
  • max_tokens 是上限,不是目标。先统计真实 token 数,再读取 stop_reason,弄清输出为什么停止。
表格列出四类任务(抽取、客服机器人、创意写作、摘要)及其设置:采样、惩罚、max_tokens、停止。只有 max_tokens 一列每行都有值:600、400、800、500。抽取使用 top_k 1 和停止序列“###”;客服机器人使用存在惩罚 0.3;创意写作使用 temperature 0.9。
每类任务各有一套设置,但每类任务都需要 max_tokens。这些是待测试的起始值,不是答案。来源:文中的示意配置文件,依据 Anthropic、Google Gemini、DAIR.AI 和 Vellum 的文档。

Anthropic 的 Messages API 文档写明,Claude Opus 4.6 之后发布的模型不再允许设置 temperature。Google 的 Gemini 提示词指南则“强烈建议” Gemini 3.x 系列保持采样参数的默认值。LLM 最为人熟知的控制项,正在逐步被锁定。

采样参数虽被锁定,调参并没有消失,只是转移到了其他控制项上。max tokens、停止序列和惩罚参数仍然决定输出能否在客户系统中使用,而且每类任务都要分别调整。

想做前线部署工程师(FDE),就必须掌握这些。客户付钱不是为了看你用默认设置跑一个演示。他们需要的是一个不会在一句话里把客户名字重复三遍的客服机器人,以及一条不会把 JSON 对象截断在半路的抽取管道。

要做出什么?

你将编写一个按任务区分的配置文件,覆盖四类工作:结构化数据抽取、客服聊天机器人、创意写作和摘要。

同时还有一小段代码,用来检查输出为什么停止。动手之前,你需要至少一家服务商的 API 权限、基础的 Python 能力,以及最重要的:10 到 20 条真实的客户输入,用于测试。

下面的代码为便于说明做了简化。不同服务商的参数名称和取值范围各不相同,请对照你所用模型的文档核实。

第 1 步:这个模型还允许调什么?

动任何控制项之前,先列一张小表,写明模型仍然接受哪些参数。原因前文已经提到:新版 Claude 模型已不再支持 temperature,Google 也建议 Gemini 3.x 保持默认值。从旧项目沿用过来的配置,可能会被 API 拒绝,也可能悄无声息地让输出变差。

这张表还应包含惩罚参数和 top_k 两列,记录你的 API 是否接受它们,而不是靠猜。

检查:对于每个打算使用的参数,你都能回答“这个模型接受它吗?服务商是否建议保持默认值?”常见错误是照搬一篇针对其他模型写的博客里的配置。

第 2 步:temperature 和 top-p 二选一

DAIR.AI 的 Prompt Engineering Guide 建议,调整 temperature 或 top-p 其中之一,不要两个都调。如果同时调整两者后输出变差,你无法判断是哪一个导致的。top-p 也值得正确理解:据 Vellum 介绍,它是累积概率,而不是 token 的百分比。

假设下一个 token 有三个候选,概率分别为 0.6、0.3 和 0.1。当 top-p 设为 0.9 时,模型只在前两个中选择,因为 0.6 加 0.3 已经达到 0.9。如果误以为它表示保留 90% 的 token,你会以为三个都在候选之列。Vellum 还指出,top-p 设得很低时,输出会变得受限、简单。

top-k 更直观。它是一个整数,限定只考虑概率最高的若干个 token。top-k 为 1 即贪心选择,结果是确定的。

Gemini 文档也说明,temperature 为 0 时结果确定:始终选择概率最高的回答。对抽取任务来说,这正是需要的特性。反过来,DAIR.AI 建议在写诗等创意任务中调高 temperature。

第 3 步:根据实测而不是直觉设置 max tokens

Anthropic 文档说得很清楚,max_tokens 只是生成 token 数的上限,模型可能更早停止。换句话说,这个数字是用来封顶成本、防止输出失控的上限,而不是你要求的长度。

快速估算时,Gemini 文档给出的经验值是一个 token 约等于四个字符。假设客户想要一份约 2,000 个字符的摘要,也就是大约 500 个 token。这只是起点:四字符规则只是估算,仍需要用客户的真实文本来统计。

Anthropic 提供免费的 token 计数 API,但按使用层级设有每分钟请求数限制,结果也只是估算值。文档还提醒,新的分词器产生的 token 大约多出 30%。

如果 500 个 token 是在旧模型上测得的,换模型后同样的文本可能达到约 650 个 token。因此,每次更换模型都要重新统计。

检查:取 10 条真实输出,统计各自的 token 数,再把 max tokens 设在最长那条之上并留出安全余量。常见错误是把 max tokens 设得接近平均值,导致最长的输出被截断。

第 4 步:加上停止序列,并读取输出停止的原因

停止序列是一个字符串,模型一旦生成它就会停止。DAIR.AI 指出,它与长度限制配合使用,有助于控制成本和格式。在 Anthropic 的 API 中,匹配到停止序列时,响应中的 stop_reason 为 "stop_sequence",stop_sequence 字段则包含实际匹配到的字符串。

下面是一个抽取任务的简化请求,提示词要求模型以 ### 结尾:

{
  "model": "<your-model>",
  "max_tokens": 600,
  "stop_sequences": ["###"],
  "messages": [{"role": "user", "content": "将以下发票抽取为 JSON,并以 ### 结尾:..."}]
}

关键在于读取响应的代码:

# 简化版:response 是从 API 解析得到的 dict
if response["stop_reason"] == "stop_sequence":
    parse_json(response)          # 模型在正确的位置结束
else:
    log_for_review(response)      # 因其他原因停止:可能被截断

检查:故意用一条很长的输入运行,确认它进入 log_for_review 分支。常见错误是选了一个可能出现在内容本身中的停止序列,比如换行符,结果输出在第一行之后就被截断。

第 5 步:频率惩罚和存在惩罚二选一

这两种惩罚的计算方式不同。DAIR.AI 解释说,频率惩罚随 token 出现的次数递增,而存在惩罚是固定的:一个 token 出现两次和出现十次,受到的惩罚相同。据 Vellum 介绍,存在惩罚在一个词首次使用后就开始生效。建议与第 2 步相同:两者只调其一。

Vellum 提到一个在客户现场非常常见的情况:客服聊天机器人反复重复某些名字或短语。这正是存在惩罚的用武之地。

Vellum 给出的存在惩罚取值范围是 -2 到 2,但通常最好控制在 -1 到 1 之间。要让机器人少重复,稳妥的做法是从一个较小的正值开始,比如 0.1 到 0.5,如果仍有重复再逐步调高。

对于频率惩罚,Vellum 建议,如果只想略微减少重复,0.1 到 1 之间的值比较合理。如果第 1 步的表格显示你的 API 没有惩罚参数,跳过这一步即可。

第 6 步:把所有内容合并成按任务区分的配置文件

# 示意配置;参数名称因服务商而异
PROFILES = {
  "extraction": {"top_k": 1, "max_tokens": 600, "stop": ["###"]},
  "support_bot": {"presence_penalty": 0.3, "max_tokens": 400},
  "creative": {"temperature": 0.9, "max_tokens": 800},  # 仅在模型允许时保留 temperature
  "summary": {"max_tokens": 500},  # 替换为根据 10 条真实输出测得的数值
}
任务 主要控制项 原因
JSON 抽取 top-k 1 或 temperature 0,停止序列 需要确定的输出,并确认已经完整结束
客服机器人 较小的正值存在惩罚,如 0.1 到 0.5(如果 API 支持) 避免重复名字和短语
创意写作 temperature 或 top-p,不要同时调 需要多样性,同时便于排查问题
摘要 根据实测设置 max tokens 控制成本和长度

文件中的数字是测试的起点,而不是答案。如果服务商建议该模型保持默认值,就从配置中删掉采样控制项,只保留 max tokens 和停止序列。同理,如果 API 不支持 top_k 或惩罚参数,也要删掉。

这项技能在客户项目中用在哪里?

设想客户抱怨机器人“说话像机器”、摘要报告异常冗长,或者下游系统不断报 JSON 解析错误。优秀的 FDE 不靠猜。他们打开日志,查看 stop_reason,统计 token,然后一次只改一个控制项。

阅读 FDE 岗位描述时,留意“推理成本优化”或“输出稳定性”这类表述。简历上不要写“精通提示词工程”,而要具体写明:你通过停止序列和 stop_reason 日志降低了输出截断率,并附上自己真实项目中的前后对比数据。

随着每一代模型发布,采样控制项可能会被进一步锁定。而 max tokens、停止序列,以及先测量再调参的习惯,在每个项目中都会一直有用。

这篇文章对你有帮助吗?

8 个信源
路线图上的下一篇 · 阶段 3: AI 应用反欺诈查询要连环 JOIN 时,数据就是一张图AWS 也承认,图数据库只在高度关联的数据上见效,信号藏在客户的提问方式里。