Presidio 在调用大模型前脱敏 PII,但它自己承认会漏
这个开源库默认只带英文模型,想向客户承诺“PII 已脱敏”,光装上远远不够。
要点速览
- Presidio 由两部分组成:Analyzer 负责检测(NER 加正则),Anonymizer 负责处理(替换、删除、遮盖、哈希、加密)。
- 默认只提供英文模型和 recognizer,许多国家的身份证件类标识符也不在内置范围内。
- 没有质量保证,没有 SLA,API 也没有鉴权:必须自己封装,自己评测。
Presidio 的文档里有一句话,每个前线部署工程师(FDE)在把它接入客户系统之前都应该读到:Presidio 无法保证找出所有敏感信息。一个专门用来遮盖个人数据的库,自己承认会有遗漏。理解这句话,是用好它的第一步。
基于工单、病历或客户邮件构建 Agent 或聊天机器人时,安全团队提的第一个问题通常是:个人数据会不会流向模型提供商?
Presidio 就是回答这个问题的开源工具。但如果只是装上它,然后点头说“PII 已经脱敏了”,那就是在承诺连它的作者都不敢承诺的事。
Presidio 做什么:两个模块
Presidio 最初的仓库是 microsoft/presidio,后来迁移到 data-privacy-stack/presidio,文档现位于 presidio.dataprivacystack.org。项目将自己定位为一组用于识别和匿名化文本及图像中隐私实体的模块,采用 MIT 许可证发布。
第一个模块是 Analyzer。它运行一组 recognizer,每个 recognizer 用各自的机制检测一种或多种 PII:NER 模型、正则表达式或其他逻辑。内置的全局实体包括信用卡号、邮箱地址、IP 地址、URL、PERSON、LOCATION 和 PHONE_NUMBER,另有一些针对美国、英国、新加坡、泰国等地的国家专属类型。
第二个模块是 Anonymizer,决定如何处理检测到的内容。它的操作符有 replace、redact、mask、hash、encrypt 和 custom。其中只有 encrypt 可逆:用 deanonymizer 的 decrypt 操作符配合同一把密钥即可还原。这样就能在发送给模型前遮盖数据,再把原始值还原给用户。
一张工单经过 Presidio 会怎样?
设想一位银行客户提交了一张越南语工单:里面有全名、邮箱地址、卡号,以及一个形如“KH-482913”的内部客户编号。邮箱和卡号有固定格式,Presidio 的正则多半能抓到。姓名就是另一回事了。
默认的 NER 模型是 spaCy 的 en_core_web_lg,一个英文模型。文档写明,默认只提供英文的 recognizer 和模型;要支持其他语言,需要同时扩展 NLP 引擎和 recognizer,而且每种语言只能使用一个 NER 模型。夹在越南语句子中间的越南人名,很容易从英文模型眼皮底下溜过去。
“KH-482913”这个编号则一定会漏,因为没有任何内置 recognizer 认识它。默认实体列表里也缺少许多国家的身份证件,比如越南的公民身份证和税号。解决办法是写一个 PatternRecognizer:用正则描述编号格式,加上“客户编号”之类的上下文词,必要时再加校验逻辑。
有个细节容易忽略:上下文词与语言相关。拿英文上下文词去匹配越南语文本,几乎没用。而且正则只能抓有固定格式的内容:如果客服把编号录错了格式,比如漏掉连字符写成“KH482913”,为“KH-482913”写的正则就识别不出来。
返回路径最容易被忘掉
常见的部署方式是把 Presidio 放在网关层,在请求到达模型提供商之前遮盖 PII;官方示例页面里就有一个配合 AI 网关这样做的例子。LiteLLM 也提供了基于 Presidio 的 guardrail,但 Analyzer 和 Anonymizer 两个容器都要自己部署。
陷阱在 LiteLLM 的 output_parse_pii 标志上。文档说得很清楚:它只在模型调用之后把遮盖用的 token 换回原始值,并不对响应做 PII 检测。要扫描响应,必须把 presidio_filter_scope 设为 output 或 both。
客户的安全团队还会问一件事:Presidio 的 API 端点在设计上就没有内置鉴权。必须在基础设施层给它们套上一层鉴权;否则,这个 PII 脱敏服务本身就会成为通向它所保护的 PII 的一扇敞开的门。
清楚它的局限,才卖得出去
Presidio 的 FAQ 直言:所有检测逻辑都会出错,减少误报的代价就是漏检增多。
FAQ 还承认,SaaS 形态的 PII 服务往往覆盖更多实体或更准确;Presidio 也不是任何公司的正式产品,没有质量保证,没有 SLA。
因此文档建议再叠加其他防护层。
向客户介绍时,要把 Presidio 放在恰当的位置:它是多层防护中的一层,并且有实测数据支撑。
演示之前,从客户的真实文本中抽一批样本手工标注,跑一遍整条流程,按类型报告漏掉了多少实体。
客户看到漏洞是你自己先找出来的,会比听到“全部已脱敏”的承诺更信任你。
比较合理的学习顺序:先在英文文本上吃透 Analyzer 和 Anonymizer,再为客户专属标识符写一个 PatternRecognizer,然后尝试为另一种语言配置 NLP 引擎,最后部署到带鉴权、双向扫描的网关之后。
简历上写一句“在 LLM 前构建 PII 脱敏层,在标注数据样本上评测漏检率,为内部标识符编写 recognizer”,能让雇主看到你懂得用真实数据做部署,而不只是会调 API。
客户不会问你用没用 Presidio。他们会问还有什么会漏出去,而能用数字回答这个问题的,应该是你。
这篇文章对你有帮助吗?
感谢你的反馈!
10 个信源
- Home - Presidio
- Presidio - Data Protection and De-identification SDK (GitHub)
- Frequently Asked Questions (FAQ) - Presidio
- Presidio Analyzer - Presidio
- Customizing the NLP model - Presidio
- Multi-language support - Presidio
- PII entities supported by Presidio - Presidio
- Presidio Anonymizer - Presidio
- PII, PHI Masking - Presidio | liteLLM
- Samples - Presidio