最好的向量数据库,往往是客户已在用的那个
每加一个服务,就多一套备份、监控和值班;客户已在用 Postgres,就先试 pgvector。
要点速览
- 客户已在用 Postgres,就先试 pgvector:向量和业务数据放在一起,直接获得 ACID、JOIN 和时间点恢复。
- 使用近似索引时,pgvector 在索引扫描之后才执行过滤,查询返回的结果可能少于请求数量。Qdrant 的 payload 索引则在搜索过程中完成过滤。
- 客户已用 Elasticsearch 做关键词搜索,就在现有集群上用 knn 查询实现混合搜索,但仍需要嵌入数据管道和一套分数融合方法。
刚到客户现场的工程师,常常想先比 benchmark、看排行榜,再推荐一款“专用”向量数据库。其实有个更简单的问题应该先问:客户已经在运维哪些系统?答案通常就决定了大半。
原因很实际。每个新服务都会带来备份、监控、权限控制,以及宕机时需要有人值班。对前线部署工程师(FDE)来说,选向量数据库主要是看能否融入客户现有的基础设施,单纯的性能只是其中一部分。下面介绍三种常见方案及各自的适用场景。
客户已在用 Postgres?先试 pgvector
官方仓库对 pgvector 的描述是:一个为 Postgres 提供向量相似度搜索的开源扩展。它最大的优势在于所处的位置。向量直接存放在业务数据旁边,因此能继承 README 中列出的 ACID、时间点恢复和 JOIN。
设想一家保险公司,保单表存放在 Postgres 中。你在条款表里加一列 embedding。之后,一条查询就能找出语义最接近的段落,再 JOIN 客户表,取出客户姓名和保单状态。
两个系统之间不需要同步管道,也就不存在同一份数据在两处逐渐不一致的风险。
有个细节值得了解:pgvector 默认执行精确最近邻搜索,README 明确说明这能带来完美的召回率。只有手动创建近似索引后才会用上近似搜索,近似索引有两种。HNSW 构建多层图结构,IVFFlat 则把数据划分为若干列表。
HNSW 在速度与召回率之间的权衡更好,代价是构建时间更长、内存占用更大。
因此,合理的流程是先跑精确搜索,得到一份“参考答案”。然后再创建 HNSW 索引,统计两份 top 10 结果中有多少条一致。这个数字说明你为速度牺牲了多少召回率,也可以直接拿给客户看。
两个可能毁掉演示的陷阱
第一个陷阱是过滤。使用近似索引时,pgvector 在扫描索引之后才执行过滤。结果是,查询返回的条数可能少于预期。
设想一个多租户系统。你要查询属于某个小客户的 10 篇最接近的文档。HNSW 索引先在整个数据集中取回一批最接近的候选,然后才按租户过滤。如果这批候选中只有 3 篇属于该租户,用户拿到的就是 3 行,而不是 10 行。
用户会认为聊天机器人“什么都没找到”,而那些文档明明就在数据库里。
第二个陷阱是维度。pgvector 最多可存储 16,000 维的向量,但 HNSW 的限制严格得多:对于 vector 类型,它最多只能索引 2,000 维。如果客户的嵌入模型输出的向量更长,你仍然可以存储,但无法在 vector 类型上构建 HNSW。
这个数字要在选模型时就核对,而不是等到导入真实数据那天。
什么时候值得为 Qdrant 新增一个服务
Qdrant 采用客户端-服务器模式,通过 HTTP 和 gRPC 提供 API,几乎任何语言都能调用。数据的基本单位是 point,由一个向量和可选的元数据 payload 组成。
在上面的多租户场景中,Qdrant 与 pgvector 的区别在于 payload 索引。你可以在 tenant_id 等特定字段上建索引,过滤在搜索过程中就会执行。Qdrant 不像 pgvector 的近似索引那样,等搜索结束后再过滤。Qdrant 还支持混合检索,把用于语义搜索的稠密向量和用于关键词搜索的稀疏向量结合起来。
因此,当过滤是核心需求时,比如租户数量极多、每个租户规模很小的多租户场景,而且客户愿意多运维一个服务,Qdrant 就值得考虑。如果没人为这个服务值班,技术上的优势就会变成运维负担。
客户已有 Elasticsearch:直接用现有集群
如果客户用 Elasticsearch 做关键词搜索,Elastic 的文档说明,稠密向量通过 knn 查询来检索。也就是说,你可以在已上线生产环境的集群上加入向量搜索。Elastic 也介绍了如何把向量与全文搜索结合,实现混合搜索。
设想一家设备经销商,技术文档存放在 Elasticsearch 中。一位技术人员输入:“PX-220 泵启动时噪音很大”。型号 PX-220 需要全文搜索精确匹配,而“启动时噪音很大”需要按语义搜索,因为文档里可能写的是“异常噪声”。
只用向量,结果可能偏到描述相近的另一款泵;只用关键词,系统会漏掉措辞不同的段落。混合搜索能兼顾两者,但前提是两组分数融合得当。
不要以为这只是加一个字段。你仍然需要一条数据管道,为存量和新增文档生成嵌入向量;可能还要对现有数据重建索引;还必须决定如何融合向量分数与全文分数。优势在别处:集群已有索引、权限控制和运维人员,风险比搭建一套新系统低。
第一步,收集约 20 个同时包含产品型号和自然语言描述的真实问题。分别运行纯全文搜索、纯 knn 搜索和混合搜索,看哪种方式能把正确的文档排在第一位。
| 客户已有 | 先尝试 | 需要检查 |
|---|---|---|
| Postgres | pgvector | 索引扫描后的过滤、HNSW 的 2,000 维上限 |
| 还没有,且过滤需求重 | Qdrant | 谁来运维这个新服务 |
| 用于关键词搜索的 Elasticsearch | 在现有集群上用 knn 查询 | 嵌入数据管道、重建索引、向量分数与全文分数的融合方式 |
先学什么
如果只有一周时间,先学 pgvector,因为大量客户都在用 Postgres。重点关注三件事:对比精确搜索与 HNSW、复现过滤导致结果过少的问题、仔细读懂维度限制。然后搭一个带 payload 索引的 Qdrant,看看同一个过滤问题如何用另一种方式解决。
阅读 FDE 岗位描述时,留意“integrate with existing data infrastructure”或“RAG in production”这类表述。简历上写“使用过向量数据库 X”说明不了什么。
而“测量了精确搜索与 HNSW 之间的召回率;在多租户系统中发现并修复了过滤导致结果过少的问题”这样一句话,能让招聘经理看到你处理过真实数据。
一个项目最好的向量数据库,通常是客户已经知道如何维持运行的那个。只有当你能量化出现有系统无法解决的具体问题时,再换别的方案。
这篇文章对你有帮助吗?
感谢你的反馈!