选越南语嵌入模型,别看排行榜,用客户的 50 个问题测
微调模型在法律文本上 Accuracy@1 从 0.5682 升到 0.7274,换成保险公司的文档,必须实测才知道。
要点速览
- VN-MTEB 这类排行榜只能帮你缩小候选范围。哪个模型最适合客户,必须用客户的数据来选。
- 公平的比较需要固定数据集、模型版本、预处理和硬件。如果用的是 E5,别忘了查询和段落前缀。
- 微调模型自报的结果只是假设,你的 50 题测试集才是检验它的地方。
在 Hugging Face 上,nrl-ai/vietnamese-embedding-bge-m3 的模型卡报告了一次不小的提升。在 Legal Zalo 法律文档检索任务上,Accuracy@1 从原版 BGE-M3 的 0.5682 升到 0.7274,MRR@10 从 0.6822 升到 0.8181。这些数字由作者自己发布。
现在设想一下,下周你坐在一家保险公司的办公室里。对方有几千页保单条款、理赔流程和客户邮件回复,全部是越南语。要不要直接用这个微调模型?
正确答案是:在他们的数据上测之前,你并不知道。本文介绍如何搭建一个小型测试集,一个下午就能回答这个问题。在客户现场,前线部署工程师(FDE)靠这项能力,才能拿数据而不是凭感觉给出建议。
排行榜只能缩小候选范围
Supermemory 在对比开源嵌入模型的文章中明确指出,没有哪个排行榜能为所有语料选出最好的模型。排行榜只能缩短候选名单。
越南语有 VN-MTEB。这个嵌入基准包含 41 个数据集,覆盖六类任务(检索、分类、句对分类、聚类、重排序和语义文本相似度(STS)),评测了 18 个模型。
VN-MTEB 是用大模型(LLM)把 MTEB 翻译成越南语构建的。因此它是翻译数据,而不是真实客户在搜索框里输入的问题,后者带着缩写、错别字和内部行话。该基准还报告,使用旋转位置编码(Rotary Positional Embedding)的较大模型表现优于使用绝对位置编码(Absolute Positional Embedding)的模型。
这对挑选候选模型是有用的线索,但不能代替验证。
要做什么,需要什么
最终产物是一个脚本:在约 50 个问题上给三个候选模型打分,输出 Recall@5、MRR@10 和平均延迟。你需要 Python、一台固定的机器(每次运行都用同一块 GPU 或同一颗 CPU)、团队已在用的任何嵌入库,以及最重要的一点:客户方有人愿意确认答案。
下面的代码是简化版。打分部分是纯 Python。embed() 函数留空,请按各模型卡的说明接入你自己的库。
第 1 步:用客户的语言写问题
从呼叫中心日志、工单或邮件等真实来源取问题,不要自己编工整的问题。然后把文档切分成带 id 的段落(chunk),并给每个问题附上包含答案的段落 id。下面是保险客户的假设示例(第一个查询是带缩写的口语化越南语,问提前解约能否退保费;第二个问住院几天可以领津贴):
{"qid": "q01", "query": "提前解约 保费能退吗", "relevant": ["clause_12_3"]}
{"qid": "q02", "query": "住院几天才能领津贴", "relevant": ["clause_07_1", "clause_07_2"]}
**检查:**随机抽 10 行发给客户方的审核人。如果对方改了超过两个答案,先重新标注,再给模型打分。
第 2 步:选三个候选模型,固定一切
合理的候选名单有三个模型。第一个是 BAAI/bge-m3,作为基线:它支持 100 多种语言,输入最长 8192 个 token,适合长合同。第二个是 nrl-ai 的越南语微调版。
第三个来自另一个模型家族,作为对照。选法是:打开 VN-MTEB 的检索榜,取得分最高的多语言 E5 模型;如果榜上没有合适的 E5,就取 BGE 家族以外排名最高的模型。然后从它的模型卡上把准确的名称、commit 和前缀抄进配置。
# 简化版:把大写字符串替换为模型卡上的真实值
MODELS = {
"bge-m3": {"name": "BAAI/bge-m3", "revision": "PIN_COMMIT_HASH", "q_prefix": "", "p_prefix": ""},
"vn-bge-m3": {"name": "nrl-ai/vietnamese-embedding-bge-m3", "revision": "PIN_COMMIT_HASH", "q_prefix": "", "p_prefix": ""},
"e5": {"name": "E5_MODEL_NAME_CHOSEN_FROM_VN_MTEB", "revision": "PIN_COMMIT_HASH",
"q_prefix": "QUERY_PREFIX_FROM_CARD", "p_prefix": "PASSAGE_PREFIX_FROM_CARD"},
}
(注释的意思是:“简化版:把大写字符串替换为模型卡上的真实值。”)
Supermemory 建议固定数据集、模型版本、预处理和硬件。只有这样,准确率和延迟的差异才有意义。因此,每个模型都必须拿到同一组 chunk,使用同样的越南语声调符号归一化,并在同一台机器上运行。
第 3 步:算出能手工核对的分数
def score(ranked, relevant, k=5):
hit = any(d in relevant for d in ranked[:k]) # Recall@k(至少有 1 个正确段落)
rr = next((1/(i+1) for i, d in enumerate(ranked[:10]) if d in relevant), 0.0) # 用于 MRR@10
return hit, rr
def evaluate(results, testset, k=5):
hits, rrs = zip(*(score(results[q["qid"]], q["relevant"], k) for q in testset))
return sum(hits)/len(hits), sum(rrs)/len(rrs)
results 是段落 id 列表,按问题向量与段落向量的余弦相似度排序,由你的 embed() 函数生成。(注释说明:只要至少出现一个正确段落,Recall@k 就记为命中;rr 用于计算 MRR@10。)可以手算三个问题的 MRR(平均倒数排名)试试。第一个问题的正确段落排第 1(得 1 分),第二个排第 2(得 0.5 分),第三个在前 10 里没有正确段落(得 0 分)。
MRR 为 (1 + 0.5 + 0) / 3 = 0.5。
把这个数字理解为结果列表中的位置。MRR 为 0.8181,说明正确段落通常排在第 1 或第 2 位。MRR 为 0.5,说明用户一般要先读过一个错误段落,才能看到正确的那个。测延迟时,只对问题的 embed() 调用计时,并在同一台固定机器上测。
**检查:**同一个模型跑两次。如果分数变了,说明预处理或数据顺序没有真正固定。
第 4 步:看漏检,而不只是看计分板
拿到计分板后,别急着选第一名。打开三个模型都没答对的问题。原因往往是 chunk 把一个条款切成了两半,出现了“hđ”(合同)或“ko”(不)这类缩写,或者答案标错了。这类错误换模型也解决不了。
BGE-M3 还在一个模型里提供三种检索模式:稠密(dense)、稀疏(sparse)和多向量(multi-vector)。跑完稠密模式后,可以用同一个测试集看看稀疏模式能否救回含产品代码或条款编号的问题。
三个悄悄毁掉比较的错误
第一个是忘了前缀。E5 模型的查询和段落需要不同的前缀。Supermemory 的文章提醒,缺少前缀可能让比较失效。脚本照常运行,不报任何错,只是 E5 看起来比实际表现差。
第二个是轻信自报数据。nrl-ai 的模型卡称,模型在约 30 万组三元组(查询、正确文档、错误文档)上训练,且 Legal Zalo 2021 的评测数据不在训练集中。
即便如此,在法律文本上测出的数字,仍然说明不了模型处理上例中保险条款的效果。这要靠客户的测试集来验证。
第三个是把开放权重当成免费。Supermemory 指出,推理、托管和维护都要花钱,而且每个版本都要核对许可证。发给客户的结果表里要放许可证和延迟两列,不能只有准确率。
这项能力在 FDE 工作中如何体现
设想客户会议上有人问:“我们该用哪个模型?”一位带着客户已认可的 50 题测试集的 FDE,比展示排行榜截图的人更有说服力。测试集的寿命也比当前模型长:每出一个新模型,重跑一遍即可。
看岗位描述时,留意“retrieval evaluation”“RAG quality”“customer data”这类说法。简历上不要只写“搭建了检索增强生成(RAG)系统”,而要写清楚:搭建了 N 题越南语评测集,比较了三个模型,把 MRR@10 从 X 提升到 Y,并说明选型理由。
这篇文章对你有帮助吗?
感谢你的反馈!