FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

工具

用 NVIDIA garak 赶在客户发问前做安全扫描

两条命令就能拿到 PASS/FAIL 报告,难点在扫描客户自己的聊天机器人,并说清结果能证明多少。

位于加利福尼亚州圣克拉拉 Scott Boulevard 2800 号和 2806 号的 NVIDIA 总部园区前,立着一块 NVIDIA 标牌。
图片:Will Buckner / CC BY 2.0
分享微博

要点速览

  • garak 是 NVIDIA 与社区共同开发的开源 LLM 漏洞扫描器,测试对象是整个应用,而不只是模型
  • 一条 pip 命令即可安装;REST generator 可连接返回纯文本或 JSON 的端点,靠一份配置文件描述请求结构和响应读取方式
  • PASS/FAIL 只是被检测器标记的输出所占比例:PASS 不代表免疫,FAIL 也可能是误报
一条分成 20 格的横条:17 个绿色格代表检测器判定正常的输出,3 个橙色格代表被拦下的输出,对应 garak 示例结果行“FAIL ok on 17/ 20”中 15% 的失败率。
garak 的一行 FAIL 只说明检测器标记了该探针 20 条输出中的 3 条。文档没有给出通过阈值。来源:garak“Reading the results”文档(NVIDIA)。

一条 pip 命令完成安装,再一条命令向语言模型发出探针,返回一行行标着 PASS 或 FAIL 的结果。上手 garak 只需要这些。garak 是 NVIDIA 与社区共同开发的开源 LLM 漏洞扫描器。

这对前线部署工程师(FDE)很重要,因为安全问题往往来得晚,又来得急。Agent 演示顺利结束,客户的法务或安全团队才开始追问:会不会泄露数据?会不会被诱导忽略指令?

“我们试过几个提示词”算不上合格的回答。一次可重复、每个探针都有结果的扫描要有说服力得多,前提是你清楚扫描里的数字说明了什么、没说明什么。

garak 测试什么?

项目 README 概括了它的用途:检查运行在 LLM 上的应用,能否被推入谁都不想看到的失效模式。名字是 Generative AI Red-teaming and Assessment Kit 的缩写,介绍该工具的论文于 2024 年 6 月发布在 arXiv 上。

对 FDE 来说,关键词是“应用”。官方文档写道,garak 能帮助发现任何使用语言模型技术的系统中的弱点和不良行为,从裸模型到聊天机器人都在范围内。

在客户现场,真正需要保护的很少是基座模型,而是接上了系统提示词、内部数据和工具的聊天机器人。所以最有价值的扫描,是直接针对这个应用本身。

第一次扫描是什么样子?

安装只需一条命令:

python -m pip install -U garak

“Your first scan”指南使用 Hugging Face 上的 gpt2 模型,以及一个检测脏话的探针:

python -m garak --model_type huggingface --model_name gpt2 --probes lmrc.Profanity

这只是本地练习,不是客户的系统。它的价值在于,让你在会议室里解释输出格式之前,先亲眼看一遍这个格式。

把 garak 接到客户的聊天机器人上

从 gpt2 走到真实系统,靠的是 REST generator。README 称 rest.RestGenerator 非常灵活,能连接任何返回纯文本或 JSON 的 REST 端点。

Databricks 在一篇介绍如何在自家平台上应用 garak 的文章中,讲清了实际要做的工作:REST generator 需要一份 JSON 配置文件,描述请求的结构以及如何读取响应。换句话说,garak 不会去猜客户的 API,得由你告诉它。

假设客户是一家保险公司,聊天机器人负责解答保单问题,对方工程团队给了你这样一个请求样例(字段名为虚构):

{"session_id": "test-01", "message": "如果我家被洪水淹了,保单会赔吗?"}

以及机器人的一个响应样例:

{"reply": "根据附加条款,您的保单……", "sources": ["supplementary-terms.pdf"]}

根据这一对样例,配置文件只需写清两件事。请求一侧:保留结构,把 message 字段里的问题替换成探针生成的提示词。响应一侧:从 reply 字段取回答,忽略 sources,因为检测器只应评判机器人说了什么。

配置文件里的键名,请直接照抄 garak 的 REST generator 文档,不要自己猜。真正的难点是从客户那里拿到准确的请求和响应样例,所以要在确定范围的会议上就提出来。

PASS 和 FAIL 到底衡量什么?

“Reading the results”文档给出了一行示例:FAIL ok on 17/ 20 (failure rate: 15%)。仔细读:探针产生了 20 个输出,检测器判定 17 个正常、捕获 3 个,因此失败率为 15%,整行标记为 FAIL。

这页文档没有规定多少算通过。所以“你们的聊天机器人 FAIL 了”是一种糟糕的表述,准确的说法是“该探针的 20 次尝试中,有 3 次产生了被检测器标记的输出”。

第二个细节更容易被忽略:同一组输出可以由多个检测器评分。因此同一个探针可能在一个检测器上 PASS、在另一个上 FAIL,给客户的报告必须写明哪个结果出自哪个检测器。

garak 替你做不了的事

Databricks 从两个方向都提出了警告。测试中成功率低,不代表免疫;检测器也会误报,结果往往需要人工复核。

所以,把 FAIL 放上幻灯片之前,先打开那 3 个被标记的输出亲自读一遍。写下“已通过”之前,先记录跑了哪些探针、在什么环境下跑的。

最大的限制来自法律。文档说得很直白:只在你获准使用的系统上运行 garak。没有书面许可就向客户的生产环境发起成批的攻击提示词,对方安全团队可能会当成真实攻击处理。因此要先就范围、环境和扫描时间达成一致。

先学什么,简历上怎么写

先跑上面那条 gpt2 命令,再用通过的输出数除以总数,自己算一遍失败率。接着自己搭一个小型 REST 端点,写一份 JSON 配置文件让 garak 能调用它,这正是到客户现场要用的技能。

把这项技能写进简历时,要把它表述成一种边界清晰的测量。比如“通过 REST 将 garak 接入内部聊天机器人,按版本跟踪各探针的失败率,每个 FAIL 均经人工复核后再报告”,这句话说明你懂得如何测量,也知道测量能说明到什么程度。

如果还没有真实客户,就拿自己的开源项目来做,并公开命令、配置文件和结果。客户不会记得你用了哪个工具,但会记得那个直截了当告诉他们“PASS 不等于安全”的人。

这篇文章对你有帮助吗?

7 个信源
路线图上的下一篇 · 阶段 6: 价值度量一条 Monte Carlo 命令,可能悄悄删光客户的告警每次 apply 都会替换整个命名空间里的监控,所以每个客户都要独立命名空间;业务规则仍得用 SQL 自己写。