# 越南语 Token“4.54 倍”之说，可能让报价高出三倍

> 实测 13 种分词器，新一代仅为英文的 1.05 至 2.14 倍，应以客户真实数据计数。

原文: https://fdetimes.net/zh/guides/estimate-vietnamese-token-costs-right-tokenizer/

搜索“越南语要花多少 Token”，最常见的答案是：英文的 4.54 倍。越南开发者社区 Viblo 上的一位作者不信这个说法，用 13 种分词器在同一组双语文本上重新做了测量。换成较新的分词器后，差距降到 1.05 至 2.14 倍之间。

PhoBERT 甚至只有 0.87 倍，也就是说比英文版本的 Token 还少。不过 PhoBERT 不是能按 Token 向客户报价的 API 模型，这个数字只说明分词器的影响有多大。

这两个数字之间的差距直接决定报价。如果你是一名前线部署工程师（FDE），带着 4.54 这个倍数去见客户，报价可能高出三倍，客户嫌贵，不签约。倍数估得太低，项目上生产环境的第一个月就会亏钱。

这种担忧由来已久。早在 2022 年底，就有一位越南开发者在 OpenAI 论坛上抱怨分词器给越南语算出的 Token 太多，写道项目才刚起步，成本就已经显得过高。下面的步骤能把这种担忧变成一个可以验证的数字。

## 准备：一个脚本、一个数据文件、一个价格页面

最终你会得到一个小脚本，它做两件事：在客户样本数据上统计 Token，并在区分输入与输出的前提下计算月度成本。你需要 Python、一份客户真实的越南语文本（或者你自己写的、与之高度相似的文本），并在浏览器标签页里打开模型提供商的价格页面。

先说两个概念。Token 是把一大块信息切分成小块后得到的数据单元。模型以 Token 为单位处理文本，提供商也按 Token 收费。

把文本切分成 Token 的过程叫分词（tokenization），所以同一句越南语经过两种不同的分词器，会得到两个不同的数字。

## 第 1 步：拿到真实数据，并把输入和输出分开

向客户要一份与系统实际接收的数据完全同类的样本，比如 50 张工单、20 份合同或 100 个用户问题。把要发送给模型的部分存成一个文件，把预期的回答存成另一个文件。

API 通常对输入 Token 和输出 Token 分开计价，所以数据从一开始就应该按同样的方式拆分。

检查：打开两个文件，确认内容是带声调符号的越南语，格式与客户实际使用的一致。如果用的是机器翻译的文本，或者不带声调符号的越南语，统计结果就无法反映真实情况。

## 第 2 步：用模型自己的分词器计数

这是最重要的一步。下面的代码是用于演示的简化版本，使用 tiktoken 库和 Viblo 基准测试中测量过的两种编码。正式使用前，请在该库的文档中核对安装方法和函数名。

```python
# 示例（简化版）：用两代分词器统计 Token 数
import tiktoken

new = tiktoken.get_encoding("o200k_base")   # GPT-4o / 4.1
old = tiktoken.get_encoding("cl100k_base")  # GPT-3.5 / 4

text = open("sample_input.txt", encoding="utf-8").read()
print("o200k_base:", len(new.encode(text)))
print("cl100k_base:", len(old.encode(text)))
```

（变量 `new` 存放较新的编码，`old` 存放较旧的编码，`text` 存放文本。）

检查：cl100k_base 的计数应明显更高。在 Viblo 的基准测试中，o200k_base 为 1.34 倍，cl100k_base 为 2.14 倍。同一测试显示，仅仅换用新一代分词器，在提示词不变的情况下，成本最多可降低 37%。

这两种编码只适用于 OpenAI 的模型。如果客户选择其他提供商的模型，该模型有自己的分词器，应使用该提供商自己的 Token 计数工具，而不是借用 o200k_base。

**要点:** 越南语的 Token 数由分词器决定，而不是由语言决定，所以唯一值得信任的数字，是你在客户数据上亲自数出来的那个。

## 一个错误的倍数如何让整份报价走样

看一个假设的案例。某客户的流量如果用英文书写，相当于每月 1000 万输入 Token。乘以传言中的 4.54，你会报 4540 万 Token；用 cl100k_base 的 2.14，得到 2140 万；用 o200k_base 的 1.34，只有 1340 万。

同一个客户、同样的工作量，仅仅因为倍数不同，估算结果就相差三倍以上。因此，这些倍数只适合用来帮助客户理解问题。计算成本时，要用第 2 步在客户自己数据上测得的 Token 数。

还值得了解越南语为什么不是最糟的情况。arXiv 上一项 2025 年的研究比较了多种语言，发现非拉丁字母书写或形态复杂的语言会产生明显更多的 Token。越南语使用的是拉丁字母。

作者还认为，按 Token 计价会进一步拉大语言之间的差距。

## 第 3 步：建立月度成本公式

拿到每次请求的平均 Token 数后，乘以用量，再套用价格。下面的代码假设价格按每 100 万 Token 标注。如果价格页面使用其他单位，请相应调整。

```python
def monthly_cost(num_requests, tok_in, tok_out,
                 price_in, price_out, surcharge=0.0):
    # price_in、price_out：每 100 万 Token 的价格，以报价当日核对的为准
    base = num_requests * (tok_in * price_in + tok_out * price_out) / 1_000_000
    return base * (1 + surcharge)

# 如果客户需要数据驻留，设 surcharge=0.10（见第 4 步）
```

（其中 `monthly_cost` 是月度成本，`num_requests` 是请求数，`price_in` 和 `price_out` 是报价当日核对的每百万 Token 输入、输出价格，`surcharge` 是附加费。）

检查：把 tok_out 设为 0 运行一次，确认结果与手算的输入成本一致。再调高 tok_out，看看输出部分对总额的影响有多大。这正是客户常常忘了问的部分。

## 第 4 步：注明定价档位、日期和附加费

OpenAI 的价格变化很快，而且分为多个档位：Standard、Batch、Flex、Fast。仅在 2026 年内，优先档位就在 2026 年 7 月 30 日从 Priority processing 更名为 Fast mode。不写日期和档位的报价，过几个月就不再准确。

有一项很容易漏掉。对于 2026 年 3 月 5 日及之后发布的模型，区域处理端点（数据驻留）要加收 10% 附加费。所以一开始就要问客户，数据是否必须留在特定区域；如果是，在公式中设 surcharge=0.10。

## 让报价被退回的错误

第一个错误是套用通用倍数，不管是 4.54 还是网上找到的其他数字，而不是自己去数。第二个错误是把输入和输出合并成一个“每次请求的 Token 数”。一旦客户改需求，比如想要更长的回答，你就不知道该调整哪一部分。

第三个错误是用一个模型的分词器计数，却为另一个模型报价。1.34 倍和 2.14 倍之间的差距，足以让一个赚钱的项目变成亏损。最后一个错误是用自己写的“干净”样本文本计数，而客户的真实数据里有表格、产品编码和错别字。

## 客户问“每月多少钱？”会比你预想的更早

由于 API 按 Token 计价，“这套系统每月运行要花多少钱？”这个问题迟早会来，所以要提前准备好答案。一张三行的表格（输入 Token、输出 Token、定价档位及核对日期），远比“大概几百美元吧”更有说服力。

如果你正准备转型做 FDE，把这项技能具体地写进简历。例如：“在客户越南语数据上测量 Token，选用新一代分词器，将估算成本降低 X%”，其中 X 是你真实测得的数字。

阅读岗位描述时，留意关于成本估算或方案范围界定（solution scoping）的内容；面试时，那正是你可以拿出这个例子的地方。

4.54 的传言还会一直在网上流传。但在谈判桌上，带着在客户自己数据上测得的 Token 数的人，底气更足。

**本周动手试试:**

- 找 20 段真实的越南语文本，比如客服邮件或产品描述，分别用 o200k_base 和 cl100k_base 计数，并把比值记录在表格里。
- 写出本文中的 monthly_cost 函数，填入价格页面上今天的价格，并在每个数字旁注明核对日期。
- 改写一份旧报价（你自己的，或者设想的一份），让它包含三行：输入 Token、输出 Token、定价档位及日期。

## 信源

- [Explaining Tokens — the Language and Currency of AI](https://blogs.nvidia.com/blog/ai-tokens-explained/)

- [Chi phí token tiếng Việt thực tế không phải đắt gấp 4,5 lần (Viblo)](https://viblo.asia/p/chi-phi-token-tieng-viet-thuc-te-khong-phai-dat-gap-45-lan-y0VGwyn7VPA)

- [Tokenization Disparities as Infrastructure Bias: How Subword Systems Create Inequities in LLM Access and Efficiency](https://arxiv.org/html/2510.12389v1)

- [Tokenizer is so high in Vietnamese](https://community.openai.com/t/tokenizer-is-so-high-in-vietnamese/27692)

- [Pricing | OpenAI API](https://developers.openai.com/api/docs/pricing)
