FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

越南语 Token“4.54 倍”之说,可能让报价高出三倍

实测 13 种分词器,新一代仅为英文的 1.05 至 2.14 倍,应以客户真实数据计数。

分享微博

要点速览

  • 越南语的 Token 数并不像传言说的那样是英文的 4.54 倍。一项覆盖 13 种分词器的基准测试测得 1.05 至 2.14 倍,o200k_base 为 1.34 倍。
  • Token 数由模型的分词器决定,而不是由越南语本身决定。因此要用实际使用的分词器,在客户真实数据上计数。
  • 报价必须区分输入和输出,注明日期和定价档位;如果客户在 2026 年 3 月 5 日及之后发布的模型上需要数据驻留,还要加收 10%。
横向条形图,展示一个假设案例:内容相当于每月 1000 万英文 Token。改用越南语书写时,按传言的 4.54 倍计算为 4540 万 Token;cl100k_base 分词器(2.14 倍)为 2140 万,o200k_base(1.34 倍)仅为 1340 万。
同样的工作量,按传言倍数估算的结果比按 o200k_base 分词器估算的高出三倍以上。来源:Viblo 上的分词器基准测试(1.34 倍、2.14 倍);4.54 倍为网上流传的数字;1000 万 Token 的案例为文中假设示例。

搜索“越南语要花多少 Token”,最常见的答案是:英文的 4.54 倍。越南开发者社区 Viblo 上的一位作者不信这个说法,用 13 种分词器在同一组双语文本上重新做了测量。换成较新的分词器后,差距降到 1.05 至 2.14 倍之间。

PhoBERT 甚至只有 0.87 倍,也就是说比英文版本的 Token 还少。不过 PhoBERT 不是能按 Token 向客户报价的 API 模型,这个数字只说明分词器的影响有多大。

这两个数字之间的差距直接决定报价。如果你是一名前线部署工程师(FDE),带着 4.54 这个倍数去见客户,报价可能高出三倍,客户嫌贵,不签约。倍数估得太低,项目上生产环境的第一个月就会亏钱。

这种担忧由来已久。早在 2022 年底,就有一位越南开发者在 OpenAI 论坛上抱怨分词器给越南语算出的 Token 太多,写道项目才刚起步,成本就已经显得过高。下面的步骤能把这种担忧变成一个可以验证的数字。

准备:一个脚本、一个数据文件、一个价格页面

最终你会得到一个小脚本,它做两件事:在客户样本数据上统计 Token,并在区分输入与输出的前提下计算月度成本。你需要 Python、一份客户真实的越南语文本(或者你自己写的、与之高度相似的文本),并在浏览器标签页里打开模型提供商的价格页面。

先说两个概念。Token 是把一大块信息切分成小块后得到的数据单元。模型以 Token 为单位处理文本,提供商也按 Token 收费。

把文本切分成 Token 的过程叫分词(tokenization),所以同一句越南语经过两种不同的分词器,会得到两个不同的数字。

第 1 步:拿到真实数据,并把输入和输出分开

向客户要一份与系统实际接收的数据完全同类的样本,比如 50 张工单、20 份合同或 100 个用户问题。把要发送给模型的部分存成一个文件,把预期的回答存成另一个文件。

API 通常对输入 Token 和输出 Token 分开计价,所以数据从一开始就应该按同样的方式拆分。

检查:打开两个文件,确认内容是带声调符号的越南语,格式与客户实际使用的一致。如果用的是机器翻译的文本,或者不带声调符号的越南语,统计结果就无法反映真实情况。

第 2 步:用模型自己的分词器计数

这是最重要的一步。下面的代码是用于演示的简化版本,使用 tiktoken 库和 Viblo 基准测试中测量过的两种编码。正式使用前,请在该库的文档中核对安装方法和函数名。

# 示例(简化版):用两代分词器统计 Token 数
import tiktoken

new = tiktoken.get_encoding("o200k_base")   # GPT-4o / 4.1
old = tiktoken.get_encoding("cl100k_base")  # GPT-3.5 / 4

text = open("sample_input.txt", encoding="utf-8").read()
print("o200k_base:", len(new.encode(text)))
print("cl100k_base:", len(old.encode(text)))

(变量 new 存放较新的编码,old 存放较旧的编码,text 存放文本。)

检查:cl100k_base 的计数应明显更高。在 Viblo 的基准测试中,o200k_base 为 1.34 倍,cl100k_base 为 2.14 倍。同一测试显示,仅仅换用新一代分词器,在提示词不变的情况下,成本最多可降低 37%。

这两种编码只适用于 OpenAI 的模型。如果客户选择其他提供商的模型,该模型有自己的分词器,应使用该提供商自己的 Token 计数工具,而不是借用 o200k_base。

一个错误的倍数如何让整份报价走样

看一个假设的案例。某客户的流量如果用英文书写,相当于每月 1000 万输入 Token。乘以传言中的 4.54,你会报 4540 万 Token;用 cl100k_base 的 2.14,得到 2140 万;用 o200k_base 的 1.34,只有 1340 万。

同一个客户、同样的工作量,仅仅因为倍数不同,估算结果就相差三倍以上。因此,这些倍数只适合用来帮助客户理解问题。计算成本时,要用第 2 步在客户自己数据上测得的 Token 数。

还值得了解越南语为什么不是最糟的情况。arXiv 上一项 2025 年的研究比较了多种语言,发现非拉丁字母书写或形态复杂的语言会产生明显更多的 Token。越南语使用的是拉丁字母。

作者还认为,按 Token 计价会进一步拉大语言之间的差距。

第 3 步:建立月度成本公式

拿到每次请求的平均 Token 数后,乘以用量,再套用价格。下面的代码假设价格按每 100 万 Token 标注。如果价格页面使用其他单位,请相应调整。

def monthly_cost(num_requests, tok_in, tok_out,
                 price_in, price_out, surcharge=0.0):
    # price_in、price_out:每 100 万 Token 的价格,以报价当日核对的为准
    base = num_requests * (tok_in * price_in + tok_out * price_out) / 1_000_000
    return base * (1 + surcharge)

# 如果客户需要数据驻留,设 surcharge=0.10(见第 4 步)

(其中 monthly_cost 是月度成本,num_requests 是请求数,price_in 和 price_out 是报价当日核对的每百万 Token 输入、输出价格,surcharge 是附加费。)

检查:把 tok_out 设为 0 运行一次,确认结果与手算的输入成本一致。再调高 tok_out,看看输出部分对总额的影响有多大。这正是客户常常忘了问的部分。

第 4 步:注明定价档位、日期和附加费

OpenAI 的价格变化很快,而且分为多个档位:Standard、Batch、Flex、Fast。仅在 2026 年内,优先档位就在 2026 年 7 月 30 日从 Priority processing 更名为 Fast mode。不写日期和档位的报价,过几个月就不再准确。

有一项很容易漏掉。对于 2026 年 3 月 5 日及之后发布的模型,区域处理端点(数据驻留)要加收 10% 附加费。所以一开始就要问客户,数据是否必须留在特定区域;如果是,在公式中设 surcharge=0.10。

让报价被退回的错误

第一个错误是套用通用倍数,不管是 4.54 还是网上找到的其他数字,而不是自己去数。第二个错误是把输入和输出合并成一个“每次请求的 Token 数”。一旦客户改需求,比如想要更长的回答,你就不知道该调整哪一部分。

第三个错误是用一个模型的分词器计数,却为另一个模型报价。1.34 倍和 2.14 倍之间的差距,足以让一个赚钱的项目变成亏损。最后一个错误是用自己写的“干净”样本文本计数,而客户的真实数据里有表格、产品编码和错别字。

客户问“每月多少钱?”会比你预想的更早

由于 API 按 Token 计价,“这套系统每月运行要花多少钱?”这个问题迟早会来,所以要提前准备好答案。一张三行的表格(输入 Token、输出 Token、定价档位及核对日期),远比“大概几百美元吧”更有说服力。

如果你正准备转型做 FDE,把这项技能具体地写进简历。例如:“在客户越南语数据上测量 Token,选用新一代分词器,将估算成本降低 X%”,其中 X 是你真实测得的数字。

阅读岗位描述时,留意关于成本估算或方案范围界定(solution scoping)的内容;面试时,那正是你可以拿出这个例子的地方。

4.54 的传言还会一直在网上流传。但在谈判桌上,带着在客户自己数据上测得的 Token 数的人,底气更足。

这篇文章对你有帮助吗?

5 个信源
路线图上的下一篇 · 阶段 4: 客户工作项目常卡在没人拍板,一份周报就能推动一页纸,每周回答同样三个问题,最后一节写明客户必须决定什么、最晚何时决定。