Llama 3.1 模型卡列了泰语,却没有越南语
读模型卡,再自己跑测试,一个晚上就能比清 Qwen、Llama、Gemma 和 Mistral 的许可证与语言支持。
要点速览
- 模型卡就是带 YAML 元数据的 README.md。看 license 字段,就知道面对的是标准开源许可证,还是厂商自己的条款。
- Qwen3-8B 和 Mistral-7B-Instruct-v0.3 采用 Apache 2.0。Llama 3.1 和 Gemma 3 用各自的许可证,Gemma 还要求先接受条款才能下载文件。
- 四份模型卡都无法替你证明越南语支持。先对照 VMLU,再用方言文本自己测试。
Llama 3.1 8B Instruct 的模型卡列出了八种官方支持的语言,其中有泰语,没有越南语。
这一点就写在模型页面上,谁都能看到。可团队一旦决定“大家都用 Llama,那就用 Llama”,这个细节就很容易被忽略。作为前线部署工程师(FDE),常常要由你来回答客户的问题:哪个开源模型能处理越南语?法律上又允不允许用?
本指南介绍如何从模型卡里找到答案,再用自己的数据加以验证。
一个晚上,一页纸
这个晚上结束时,你会得到一页对比表,比较四个候选模型:Qwen3-8B、Llama-3.1-8B-Instruct、gemma-3-4b-it 和 Mistral-7B-Instruct-v0.3。表中记录每个模型的许可证、模型卡对语言的承诺、需要测试的风险,以及你自己测出的越南语测试结果。
你需要一个 Hugging Face 账号,因为 Gemma 要求先接受条款才允许下载文件。还需要一个记笔记的编辑器;最后一步要能在现有的推理环境里至少跑起其中两个模型。只读模型卡的话,有浏览器就够了。
第 1 步:打开 README.md,先读 YAML 块
Hugging Face 文档写明,每个仓库的模型卡就是它的 README.md 文件,由 Markdown 和元数据组成。元数据是文件顶部的一段 YAML,包含 license、language、datasets、base_model 等字段。先读这一块:它是结构化数据,而下面的正文是厂商对自家产品的介绍。
下面是一个示意用的 YAML 块,经过删减,并非摘自任何仓库:
---
license: apache-2.0
language:
- en
base_model: some-org/some-base-model
datasets:
- some-dataset
---
**检查:**把每个模型的 license 值填进表格。如果模型卡里有 base_model,也记下来,再打开基础模型的模型卡查看它的许可证。回复客户之前,你既要清楚所用版本的条款,也要清楚它所基于的模型的条款。
第 2 步:先给许可证分类,再谈质量
在 Hub 上,许可证直接显示在模型页面上,也可以用作筛选条件。Hub 为 Llama(llama3.1、llama3.3、llama4)和 Gemma(gemma)设了专门的代码,与 apache-2.0 这类标准许可证区分开。所以扫一眼这个字段,就知道面对的是标准开源许可证,还是某一家公司的条款。
最麻烦的是自定义许可证,声明方式如下(示意):
---
license: other
license_name: custom-license-name
license_link: LICENSE
---
声明 license: other 时,Hub 要求在仓库里放一个 LICENSE 文件,写明完整的许可证文本。不要只看徽标,要打开这个文件或 license_link 中的链接,逐字读完。
套用到这四个模型上:Qwen3-8B 和 Mistral-7B-Instruct-v0.3 采用 Apache 2.0。Llama 3.1 采用自己的社区许可证,要求月活跃用户超过 7 亿的产品向 Meta 申请许可,并附有一份可接受使用政策,规定模型的使用方式。
Gemma 3 采用 Gemma 使用条款(Gemma Terms of Use),而且是受限(gated)仓库,必须同意条款才能下载文件。
**检查:**表格的许可证一列只应出现两种值:“标准”或“自定义,已读全文”。只要还有一格写着“自定义,尚未阅读”,就别进入第 3 步。
第 3 步:把语言部分当作承诺来读
Qwen3-8B 的模型卡称模型支持 100 多种语言和方言,但没有点名越南语。Gemma 3 4B-it 描述了覆盖 140 多种语言的多语言能力。Llama 3.1 有八种官方语言,越南语不在其中。
Mistral-7B-Instruct-v0.3 的模型卡完全没有多语言方面的声明,并明确写着模型没有任何内容审核机制。
这里有两类信号,需要分开看。用 Llama 处理越南语,意味着超出了厂商的官方支持范围,应提前告知客户。Qwen 和 Gemma 的 100、140 这些数字体现的是覆盖面,并不能证明它们在你的具体问题上越南语表现够好。
**检查:**把每份模型卡的语言声明逐字抄进表格,不做解读。凡是没提到越南语的,标为“需测试”。
第 4 步:记录上下文长度和运行限制
Qwen3-8B 原生上下文为 32,768 个 token,借助 YaRN 可扩展到 131,072 个 token。Gemma 3 的上下文窗口为 128K。客户想把整份合同或很长的案卷放进提示词时,这些数字就很关键。
扩展后的数值通常需要单独配置,所以 Qwen 的两个数值都要记,不要只记较大的那个。Llama 和 Mistral 的上下文长度请打开模型卡自己填,不要猜。完成这一步后,表格的核心部分如下:
| 模型 | 许可证 | 模型卡对语言的说法 | 需测试的风险 |
|---|---|---|---|
| Qwen3-8B | apache-2.0 | 100+ 种语言,未点名越南语 | 实际越南语质量 |
| Llama-3.1-8B-Instruct | llama3.1(自定义) | 8 种语言,不含越南语 | 超出支持范围,7 亿月活条款 |
| gemma-3-4b-it | gemma(自定义,受限) | 140 多种语言 | Gemma 条款,越南语质量 |
| Mistral-7B-Instruct-v0.3 | apache-2.0 | 无声明 | 无内容审核,越南语情况未知 |
第 5 步:对照独立来源,再自己给方言打分
模型卡是厂商的自我介绍,因此需要外部来源。VMLU 是经过同行评审的越南语基准,发表于 ACL 2025,比较了 Llama-3、Qwen2.5、GPT-4 等模型。可以用它大致判断哪些模型家族的越南语较强。
要注意,基准中的版本可能和你打算用的版本不同。
接下来是标准基准覆盖不全的部分。2026 年 8 月发表在 arXiv 上的 VialectBench 表明,地方方言会降低 LLM 的表现:十个经过指令微调的模型平均下降约 2.82%,没有一个模型完全稳健。客户的真实用户不会像教科书那样写字。
所以要自建一个小测试集,并用简单的规则打分:回答符合期望答案一列中的意图,得 1 分;答错或答非所问,得 0 分。下面的格式是自定的,不是任何标准,两行打分数据仅作示意。真实的测试集里两列句子都应是越南语,方言一列要按越南中部或南部人的实际说法来写;这里用中文呈现。
id,standard_sentence,dialect_sentence,expected_answer,standard_score,dialect_score
1,"我想修改收货地址","送货的地儿我想换一下,行不?","说明如何修改地址",1,1
2,"我的订单什么时候到?","俺那单啥时候能到啊?","查询订单状态",1,0
假设用 30 对句子测试一个模型。标准列得分 24/30,即 80%;方言列只有 19/30,约 63.3%。差距是 5 句,接近 16.7 个百分点。
要报告的是这个假设的差距,而不是 80%。回头逐一检查答错的 5 句,看模型栽在地方词汇、句末语气词,还是不带声调符号的输入上。每类错误对应不同的修复办法,从规范化输入到在提示词中补充示例都有可能。
**检查:**在至少两个模型上跑同一套问题,每个模型记下三个数字:标准得分、方言得分和差距。差距如果很大,就是客户在上线前必须知道的发现。
最常见的错误有哪些?
第一是只信徽标。声明 license: other 的仓库可能包含任何条款,只有 LICENSE 文件能告诉你具体内容。第二是把“100 多种语言”当成支持越南语的证据,而 Qwen3-8B 的模型卡从没点名越南语。
第三是使用社区做的越南语微调版本时,忘了查基础模型的许可证。第四是因为 Mistral 是 Apache 2.0 就选它,直接面向终端用户上线,尽管它自己的模型卡写明没有内容审核机制。这种情况下,需要在前面加一层过滤。
这项技能在客户工作中用在哪里?
以一家想在自有基础设施上运行内部聊天机器人的银行为例。第一次开会时,法务部门的问题会先于任何准确率问题:“这个许可证允许我们做什么?”
如果你带着第 4 步的表格、标注好的自定义许可证全文,以及第 5 步的三个测试数字到场,会议就能直接进入技术讨论。
写进简历时,不要写“熟悉 LLM”。要写你评估了四个开源模型的许可证和越南语能力,自建了方言测试集,并附上测出的分数差距。
阅读职位描述时,“模型选型”“评测”“合规审查”之类的说法,指的正是你刚做完的这些工作。
下次有人问“用 Llama 还是 Qwen?”,你可以拿出一张包含许可证、语言和测试结果的完整表格来回答,而不是凭感觉。
这篇文章对你有帮助吗?
感谢你的反馈!
8 个信源
- Model Cards (Hugging Face Hub docs)
- Licenses (Hugging Face Hub docs)
- Qwen/Qwen3-8B · Hugging Face
- meta-llama/Llama-3.1-8B-Instruct · Hugging Face
- google/gemma-3-4b-it · Hugging Face
- mistralai/Mistral-7B-Instruct-v0.3 · Hugging Face
- VMLU Benchmarks: A comprehensive benchmark toolkit for Vietnamese LLMs · 2025-07
- How Robust Are LLMs to Vietnamese Dialects? · 2026-08-11