FDE Times 数据在招 FDE 职位 881▼8 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 55在招公司 185支持远程 25%美国薪资中位数 $201k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

工具

最好的向量数据库,往往是客户已在用的那个

每加一个服务,就多一套备份、监控和值班;客户已在用 Postgres,就先试 pgvector。

分享微博

要点速览

  • 客户已在用 Postgres,就先试 pgvector:向量和业务数据放在一起,直接获得 ACID、JOIN 和时间点恢复。
  • 使用近似索引时,pgvector 在索引扫描之后才执行过滤,查询返回的结果可能少于请求数量。Qdrant 的 payload 索引则在搜索过程中完成过滤。
  • 客户已用 Elasticsearch 做关键词搜索,就在现有集群上用 knn 查询实现混合搜索,但仍需要嵌入数据管道和一套分数融合方法。
选择向量数据库的决策树。左侧橙色方框提问:客户在运行哪个系统?问题分为三个分支。分支一:客户已有 Postgres,先试 pgvector,检查索引扫描后过滤可能导致返回行数过少,以及 HNSW 的 2,000 维上限。分支二:客户尚无系统但需要大量过滤,用 Qdrant,其 payload 索引在搜索过程中过滤,但要确定谁来运维新服务。分支三:客户用 Elasticsearch 做关键词搜索,在现有集群上运行 knn 查询,检查嵌入数据管道、重建索引以及向量分数与全文分数的融合方式。
客户已在运行的系统,基本决定了向量数据库的选择。只有能量化出现有系统无法解决的具体问题时,才值得更换。

刚到客户现场的工程师,常常想先比 benchmark、看排行榜,再推荐一款“专用”向量数据库。其实有个更简单的问题应该先问:客户已经在运维哪些系统?答案通常就决定了大半。

原因很实际。每个新服务都会带来备份、监控、权限控制,以及宕机时需要有人值班。对前线部署工程师(FDE)来说,选向量数据库主要是看能否融入客户现有的基础设施,单纯的性能只是其中一部分。下面介绍三种常见方案及各自的适用场景。

客户已在用 Postgres?先试 pgvector

官方仓库对 pgvector 的描述是:一个为 Postgres 提供向量相似度搜索的开源扩展。它最大的优势在于所处的位置。向量直接存放在业务数据旁边,因此能继承 README 中列出的 ACID、时间点恢复和 JOIN。

设想一家保险公司,保单表存放在 Postgres 中。你在条款表里加一列 embedding。之后,一条查询就能找出语义最接近的段落,再 JOIN 客户表,取出客户姓名和保单状态。

两个系统之间不需要同步管道,也就不存在同一份数据在两处逐渐不一致的风险。

有个细节值得了解:pgvector 默认执行精确最近邻搜索,README 明确说明这能带来完美的召回率。只有手动创建近似索引后才会用上近似搜索,近似索引有两种。HNSW 构建多层图结构,IVFFlat 则把数据划分为若干列表。

HNSW 在速度与召回率之间的权衡更好,代价是构建时间更长、内存占用更大。

因此,合理的流程是先跑精确搜索,得到一份“参考答案”。然后再创建 HNSW 索引,统计两份 top 10 结果中有多少条一致。这个数字说明你为速度牺牲了多少召回率,也可以直接拿给客户看。

两个可能毁掉演示的陷阱

第一个陷阱是过滤。使用近似索引时,pgvector 在扫描索引之后才执行过滤。结果是,查询返回的条数可能少于预期。

设想一个多租户系统。你要查询属于某个小客户的 10 篇最接近的文档。HNSW 索引先在整个数据集中取回一批最接近的候选,然后才按租户过滤。如果这批候选中只有 3 篇属于该租户,用户拿到的就是 3 行,而不是 10 行。

用户会认为聊天机器人“什么都没找到”,而那些文档明明就在数据库里。

第二个陷阱是维度。pgvector 最多可存储 16,000 维的向量,但 HNSW 的限制严格得多:对于 vector 类型,它最多只能索引 2,000 维。如果客户的嵌入模型输出的向量更长,你仍然可以存储,但无法在 vector 类型上构建 HNSW。

这个数字要在选模型时就核对,而不是等到导入真实数据那天。

什么时候值得为 Qdrant 新增一个服务

Qdrant 采用客户端-服务器模式,通过 HTTP 和 gRPC 提供 API,几乎任何语言都能调用。数据的基本单位是 point,由一个向量和可选的元数据 payload 组成。

在上面的多租户场景中,Qdrant 与 pgvector 的区别在于 payload 索引。你可以在 tenant_id 等特定字段上建索引,过滤在搜索过程中就会执行。Qdrant 不像 pgvector 的近似索引那样,等搜索结束后再过滤。Qdrant 还支持混合检索,把用于语义搜索的稠密向量和用于关键词搜索的稀疏向量结合起来。

因此,当过滤是核心需求时,比如租户数量极多、每个租户规模很小的多租户场景,而且客户愿意多运维一个服务,Qdrant 就值得考虑。如果没人为这个服务值班,技术上的优势就会变成运维负担。

客户已有 Elasticsearch:直接用现有集群

如果客户用 Elasticsearch 做关键词搜索,Elastic 的文档说明,稠密向量通过 knn 查询来检索。也就是说,你可以在已上线生产环境的集群上加入向量搜索。Elastic 也介绍了如何把向量与全文搜索结合,实现混合搜索。

设想一家设备经销商,技术文档存放在 Elasticsearch 中。一位技术人员输入:“PX-220 泵启动时噪音很大”。型号 PX-220 需要全文搜索精确匹配,而“启动时噪音很大”需要按语义搜索,因为文档里可能写的是“异常噪声”。

只用向量,结果可能偏到描述相近的另一款泵;只用关键词,系统会漏掉措辞不同的段落。混合搜索能兼顾两者,但前提是两组分数融合得当。

不要以为这只是加一个字段。你仍然需要一条数据管道,为存量和新增文档生成嵌入向量;可能还要对现有数据重建索引;还必须决定如何融合向量分数与全文分数。优势在别处:集群已有索引、权限控制和运维人员,风险比搭建一套新系统低。

第一步,收集约 20 个同时包含产品型号和自然语言描述的真实问题。分别运行纯全文搜索、纯 knn 搜索和混合搜索,看哪种方式能把正确的文档排在第一位。

客户已有 先尝试 需要检查
Postgres pgvector 索引扫描后的过滤、HNSW 的 2,000 维上限
还没有,且过滤需求重 Qdrant 谁来运维这个新服务
用于关键词搜索的 Elasticsearch 在现有集群上用 knn 查询 嵌入数据管道、重建索引、向量分数与全文分数的融合方式

先学什么

如果只有一周时间,先学 pgvector,因为大量客户都在用 Postgres。重点关注三件事:对比精确搜索与 HNSW、复现过滤导致结果过少的问题、仔细读懂维度限制。然后搭一个带 payload 索引的 Qdrant,看看同一个过滤问题如何用另一种方式解决。

阅读 FDE 岗位描述时,留意“integrate with existing data infrastructure”或“RAG in production”这类表述。简历上写“使用过向量数据库 X”说明不了什么。

而“测量了精确搜索与 HNSW 之间的召回率;在多租户系统中发现并修复了过滤导致结果过少的问题”这样一句话,能让招聘经理看到你处理过真实数据。

一个项目最好的向量数据库,通常是客户已经知道如何维持运行的那个。只有当你能量化出现有系统无法解决的具体问题时,再换别的方案。

这篇文章对你有帮助吗?

3 个信源
路线图上的下一篇 · 阶段 3: AI 应用在客户现场部署 Agent,最难的是谁来点“批准”LangGraph 的 interrupt 能在退款发出前暂停 Agent,等人审批几分钟甚至一整夜,再从原处继续。