用 NVIDIA garak 赶在客户发问前做安全扫描
两条命令就能拿到 PASS/FAIL 报告,难点在扫描客户自己的聊天机器人,并说清结果能证明多少。

要点速览
- garak 是 NVIDIA 与社区共同开发的开源 LLM 漏洞扫描器,测试对象是整个应用,而不只是模型
- 一条 pip 命令即可安装;REST generator 可连接返回纯文本或 JSON 的端点,靠一份配置文件描述请求结构和响应读取方式
- PASS/FAIL 只是被检测器标记的输出所占比例:PASS 不代表免疫,FAIL 也可能是误报
一条 pip 命令完成安装,再一条命令向语言模型发出探针,返回一行行标着 PASS 或 FAIL 的结果。上手 garak 只需要这些。garak 是 NVIDIA 与社区共同开发的开源 LLM 漏洞扫描器。
这对前线部署工程师(FDE)很重要,因为安全问题往往来得晚,又来得急。Agent 演示顺利结束,客户的法务或安全团队才开始追问:会不会泄露数据?会不会被诱导忽略指令?
“我们试过几个提示词”算不上合格的回答。一次可重复、每个探针都有结果的扫描要有说服力得多,前提是你清楚扫描里的数字说明了什么、没说明什么。
garak 测试什么?
项目 README 概括了它的用途:检查运行在 LLM 上的应用,能否被推入谁都不想看到的失效模式。名字是 Generative AI Red-teaming and Assessment Kit 的缩写,介绍该工具的论文于 2024 年 6 月发布在 arXiv 上。
对 FDE 来说,关键词是“应用”。官方文档写道,garak 能帮助发现任何使用语言模型技术的系统中的弱点和不良行为,从裸模型到聊天机器人都在范围内。
在客户现场,真正需要保护的很少是基座模型,而是接上了系统提示词、内部数据和工具的聊天机器人。所以最有价值的扫描,是直接针对这个应用本身。
第一次扫描是什么样子?
安装只需一条命令:
python -m pip install -U garak
“Your first scan”指南使用 Hugging Face 上的 gpt2 模型,以及一个检测脏话的探针:
python -m garak --model_type huggingface --model_name gpt2 --probes lmrc.Profanity
这只是本地练习,不是客户的系统。它的价值在于,让你在会议室里解释输出格式之前,先亲眼看一遍这个格式。
把 garak 接到客户的聊天机器人上
从 gpt2 走到真实系统,靠的是 REST generator。README 称 rest.RestGenerator 非常灵活,能连接任何返回纯文本或 JSON 的 REST 端点。
Databricks 在一篇介绍如何在自家平台上应用 garak 的文章中,讲清了实际要做的工作:REST generator 需要一份 JSON 配置文件,描述请求的结构以及如何读取响应。换句话说,garak 不会去猜客户的 API,得由你告诉它。
假设客户是一家保险公司,聊天机器人负责解答保单问题,对方工程团队给了你这样一个请求样例(字段名为虚构):
{"session_id": "test-01", "message": "如果我家被洪水淹了,保单会赔吗?"}
以及机器人的一个响应样例:
{"reply": "根据附加条款,您的保单……", "sources": ["supplementary-terms.pdf"]}
根据这一对样例,配置文件只需写清两件事。请求一侧:保留结构,把 message 字段里的问题替换成探针生成的提示词。响应一侧:从 reply 字段取回答,忽略 sources,因为检测器只应评判机器人说了什么。
配置文件里的键名,请直接照抄 garak 的 REST generator 文档,不要自己猜。真正的难点是从客户那里拿到准确的请求和响应样例,所以要在确定范围的会议上就提出来。
PASS 和 FAIL 到底衡量什么?
“Reading the results”文档给出了一行示例:FAIL ok on 17/ 20 (failure rate: 15%)。仔细读:探针产生了 20 个输出,检测器判定 17 个正常、捕获 3 个,因此失败率为 15%,整行标记为 FAIL。
这页文档没有规定多少算通过。所以“你们的聊天机器人 FAIL 了”是一种糟糕的表述,准确的说法是“该探针的 20 次尝试中,有 3 次产生了被检测器标记的输出”。
第二个细节更容易被忽略:同一组输出可以由多个检测器评分。因此同一个探针可能在一个检测器上 PASS、在另一个上 FAIL,给客户的报告必须写明哪个结果出自哪个检测器。
garak 替你做不了的事
Databricks 从两个方向都提出了警告。测试中成功率低,不代表免疫;检测器也会误报,结果往往需要人工复核。
所以,把 FAIL 放上幻灯片之前,先打开那 3 个被标记的输出亲自读一遍。写下“已通过”之前,先记录跑了哪些探针、在什么环境下跑的。
最大的限制来自法律。文档说得很直白:只在你获准使用的系统上运行 garak。没有书面许可就向客户的生产环境发起成批的攻击提示词,对方安全团队可能会当成真实攻击处理。因此要先就范围、环境和扫描时间达成一致。
先学什么,简历上怎么写
先跑上面那条 gpt2 命令,再用通过的输出数除以总数,自己算一遍失败率。接着自己搭一个小型 REST 端点,写一份 JSON 配置文件让 garak 能调用它,这正是到客户现场要用的技能。
把这项技能写进简历时,要把它表述成一种边界清晰的测量。比如“通过 REST 将 garak 接入内部聊天机器人,按版本跟踪各探针的失败率,每个 FAIL 均经人工复核后再报告”,这句话说明你懂得如何测量,也知道测量能说明到什么程度。
如果还没有真实客户,就拿自己的开源项目来做,并公开命令、配置文件和结果。客户不会记得你用了哪个工具,但会记得那个直截了当告诉他们“PASS 不等于安全”的人。
这篇文章对你有帮助吗?
感谢你的反馈!
7 个信源
- garak: A Framework for Security Probing Large Language Models · 2024-06-16
- GitHub - NVIDIA/garak: the LLM vulnerability scanner
- Your first scan - garak documentation
- garak: LLM vulnerability scanner
- Welcome to garak!
- Reading the results - garak documentation
- AI Security in Action: Applying NVIDIA's Garak to LLMs on Databricks · 2025-07-02