FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

一个薪资问题,就能暴露 RAG 管道的数据泄露

排序前先按部门过滤,再到源头复核每份文档的权限,纯 Python 就能堵住泄露。

分享微博

要点速览

  • 过滤条件必须基于服务端验证过的身份构建,绝不能取自提示词内容。
  • 元数据过滤能拦住大部分数据,但存在同步延迟,因此检索后还需要实时权限校验。
  • 一套证明数据不会泄露的测试,比任何安全幻灯片都更有说服力。
权限控制 RAG 管道示意图:查询先经过基于 dept 和 level 的预过滤(取自服务端身份),再做 top-k 排序,然后在到达模型前进行实时源权限校验(调用客户的 IAM)。橙色高亮的预过滤是主防线,负责缩小候选范围;后置校验负责拦住过期权限。
排序前按元数据过滤是主防线。文档进入上下文前校验源权限是安全网,因为把权限同步到向量数据库的任务可能滞后。

一名工程师问内部聊天机器人“今年工程师的薪资怎么样?”,检索排在第一的结果却是 HR 部门的工资表。模型并没有做错什么,它只是根据管道交给它的内容作答。问题出在检索环节,那时模型还一个字都没读。

Zenity 引用的 IBM 数据显示,在发生过 AI 相关安全事件的组织中,97% 缺乏恰当的 AI 访问控制。Zenity 还认为,从 RAG 背后的数据源到系统提示词和工具 schema,每一个设计选择都是一次权限决策。

对前线部署工程师(FDE)来说,这个数字意味着访问控制要从第一天就规划,而不是等测完准确率再说。本指南带你搭建一个正是这样设计的小型管道,只需 Python,在笔记本电脑上就能运行。

要构建什么,需要准备什么

最终成果是一个文件 rag_acl.py,包含两层保护。第一层在排序前按部门和敏感级别过滤文档;第二层在每份文档进入上下文前,到权威数据源重新校验权限。

只需要 Python 3,不用装任何额外的库。这是一个精简的教学版本:相似度打分用统计重叠词数代替,权限系统用一个模拟的 dict 代替。在真实项目中,把这两部分换成向量数据库和客户的身份与访问管理(IAM)系统即可,逻辑不变。

背后的思路来自 LangChain 描述上下文工程时用的两个词。“select”指把合适的上下文拉进上下文窗口,也就是 RAG 的部分;“isolate”指把上下文隔离开。粗略地说,部门级访问控制就是一种隔离:每个人只能从属于自己的数据中选取上下文。

第 1 步:给每个分块打上元数据标签

AWS 在介绍 Bedrock Knowledge Bases 的元数据过滤时,建议按用户角色、部门或数据敏感度定义元数据字段。这里正是这样做的,用两个字段:dept 和 level。示例文档是越南语的,这一点后面会用到,因为打分统计的是共有词。先是两份 HR 文档(一份按职级上调的工程师薪资表,一份全公司通用的请假流程):

# rag_acl.py(用于学习的简化版本)
DOCS = [
    {"id": "hr-01", "text": "engineer salary bands this year rise by grade", "dept": "hr", "level": 3},
    {"id": "hr-02", "text": "leave request process for the whole company", "dept": "all", "level": 1},
]

接着是一份财务文档(下季度现金流预测和薪资计划)和一份工程文档(支付服务的部署指南):

DOCS += [
    {"id": "fin-01", "text": "next quarter cash flow forecast and salary plan", "dept": "finance", "level": 3},
    {"id": "eng-01", "text": "guide to deploying the payment service", "dept": "eng", "level": 2},
]

检查:每个分块都必须同时有这两个字段。没有 dept 的分块,过滤器就不知道该怎么处理。稳妥的规则是:缺少元数据,就谁都不能读。

第 2 步:身份取自服务端,而不是提示词

USERS = {  # 模拟的身份管理系统
    "an":   {"depts": ["eng"], "clearance": 2},
    "binh": {"depts": ["hr"],  "clearance": 3},
}

这份用户档案必须来自已认证的会话。如果用户在聊天框里输入“我在 HR 工作”,系统就信了,那过滤器不过是摆设。

第 3 步:构建动态过滤器,再排序

一个打分函数代替向量相似度,另一个函数根据用户档案构建过滤器:

def score(query, text):  # 代替向量相似度
    return len(set(query.lower().split()) & set(text.split()))

def build_filter(user_id):
    u = USERS[user_id]
    allowed = set(u["depts"]) | {"all"}
    return lambda d: d["dept"] in allowed and d["level"] <= u["clearance"]

然后先过滤,再排序:

def retrieve(query, user_id, k=3):
    ok = build_filter(user_id)
    pool = [d for d in DOCS if ok(d)]
    ranked = sorted(pool, key=lambda d: score(query, d["text"]), reverse=True)
    return [d for d in ranked[:k] if score(query, d["text"]) > 0]

用查询“lương kỹ sư năm nay”(“今年工程师的薪资”)手动推演一遍。不加过滤时,hr-01 匹配 5 个词,排第一;fin-01 匹配 1 个词(“lương”,即薪资)。工程部的 An 会同时拿到这两份文档。

加上过滤后,An 只能检索 hr-02 和 eng-01。两者都匹配 0 个词,结果为空,模型只能回答没有相关信息。HR 部门的 Binh 能拿到 hr-01,但拿不到 fin-01,尽管这份文档里有“lương”这个词。

这里结果为空不是 bug,恰恰是想要的行为。据 AI Engineer 通讯,一个塞满噪声的 200k token 窗口,效果不如一个只装着所需内容的 20k 窗口。Zenity 补充说,token 越少,提示词注入的途径也越少。

为什么只靠元数据过滤还不够

Descope 指出了这种做法的弱点:你必须把权限从权威数据源同步到向量数据库。假设 Binh 昨天从 HR 调到了别的部门,而同步任务每晚才跑一次。在这段空窗期里,元数据仍把 Binh 当作 HR 员工。

Descope 是一家授权工具厂商,它建议把授权与检索彻底分开:先取候选文档,再实时校验权限。稳妥的部署方式是两层都保留:先过滤以缩小范围,再校验以拦住过期权限。

第 4 步:加入上下文之前校验权限

REVOKED = {("binh", "hr-01")}  # 模拟的权限权威数据源,实时更新

def live_check(user_id, doc_id):
    return (user_id, doc_id) not in REVOKED

def build_context(query, user_id):
    docs = [d for d in retrieve(query, user_id) if live_check(user_id, d["id"])]
    return "\n".join(d["text"] for d in docs)

检查:现在 build_context("engineer salary this year", "binh") 返回空字符串,尽管元数据仍允许访问。在真实项目中,live_check 会调用客户的权限系统,因此要测量它在每次查询上的延迟。

第 5 步:编写证明不会泄露的测试

assert "hr-01" not in [d["id"] for d in retrieve("engineer salary this year", "an")]
assert "fin-01" not in [d["id"] for d in retrieve("salary plan", "binh")]
assert build_context("engineer salary this year", "binh") == ""

这些是反向测试:每一行都断言某个人看不到某样东西。像“Binh 可以问薪资问题”这样的正向测试,只能证明系统能用;反向测试才能证明它是安全的。

最常见的错误

第一,让模型决定过滤条件,比如让 LLM 根据问题生成过滤条件。过滤器必须是确定性的代码,输入是经过认证的身份。

第二,取完 top-k 之后才过滤:如果前三个结果全被拦下,用户什么也拿不到,哪怕第四位就有一份合规的文档。所以本指南把预过滤作为主防线,把检索后校验作为安全网;Descope 则相反,以检索后的权限校验为核心。

这是一个设计上的权衡,要结合每个客户实际的权限同步延迟来判断。

第三,忘了 dept: "all" 这类共享文档,结果连请假流程都被过滤器拦掉。第四,把检索到的完整上下文写进人人可读的日志系统,数据从另一条路泄露出去。

这项技能在客户现场如何体现

AWS 把元数据过滤的目标定为防止敏感或受限信息被无意间暴露。到了客户现场,这会变成具体的问题:源权限存在哪里?多久同步一次?敏感标签归谁负责?

在客户现场的第一天,首要任务是梳理权限:有哪些数据源,权限存在哪个系统里,同步延迟是多少。向量数据库的选型可以往后放。Zenity 提到的最小权限原则,即只授予完成任务所需的访问权限,必须从打元数据标签的方式开始落实。

如果你是想转 FDE 岗位的开发者,可以留意提到“access control”“RBAC”或“enterprise RAG”的岗位描述。简历上别只写“做过一个 RAG 聊天机器人”,而要写明你设计了部门级过滤、实时权限校验,以及一套证明数据不会泄露的反向测试。

用户永远不会因为聊天机器人没泄露工资表而夸它。但只要泄露一次,客户就足以叫停整个项目。

这篇文章对你有帮助吗?

5 个信源
路线图上的下一篇 · 阶段 5: 部署上线客户网络完全隔离时,镜像靠文件送进去docker save 和 docker load 能让构建跨过隔离网,成败取决于审批关口放在哪里。