# 用 NVIDIA garak 赶在客户发问前做安全扫描

> 两条命令就能拿到 PASS/FAIL 报告，难点在扫描客户自己的聊天机器人，并说清结果能证明多少。

原文: https://fdetimes.net/zh/tools/nvidia-garak-llm-vulnerability-scanner/

一条 pip 命令完成安装，再一条命令向语言模型发出探针，返回一行行标着 PASS 或 FAIL 的结果。上手 garak 只需要这些。garak 是 NVIDIA 与社区共同开发的开源 LLM 漏洞扫描器。

这对前线部署工程师（FDE）很重要，因为安全问题往往来得晚，又来得急。Agent 演示顺利结束，客户的法务或安全团队才开始追问：会不会泄露数据？会不会被诱导忽略指令？

“我们试过几个提示词”算不上合格的回答。一次可重复、每个探针都有结果的扫描要有说服力得多，前提是你清楚扫描里的数字说明了什么、没说明什么。

## garak 测试什么？

项目 README 概括了它的用途：检查运行在 LLM 上的应用，能否被推入谁都不想看到的失效模式。名字是 Generative AI Red-teaming and Assessment Kit 的缩写，介绍该工具的论文于 2024 年 6 月发布在 arXiv 上。

对 FDE 来说，关键词是“应用”。官方文档写道，garak 能帮助发现任何使用语言模型技术的系统中的弱点和不良行为，从裸模型到聊天机器人都在范围内。

在客户现场，真正需要保护的很少是基座模型，而是接上了系统提示词、内部数据和工具的聊天机器人。所以最有价值的扫描，是直接针对这个应用本身。

## 第一次扫描是什么样子？

安装只需一条命令：

```bash
python -m pip install -U garak
```

“Your first scan”指南使用 Hugging Face 上的 gpt2 模型，以及一个检测脏话的探针：

```bash
python -m garak --model_type huggingface --model_name gpt2 --probes lmrc.Profanity
```

这只是本地练习，不是客户的系统。它的价值在于，让你在会议室里解释输出格式之前，先亲眼看一遍这个格式。

## 把 garak 接到客户的聊天机器人上

从 gpt2 走到真实系统，靠的是 REST generator。README 称 `rest.RestGenerator` 非常灵活，能连接任何返回纯文本或 JSON 的 REST 端点。

Databricks 在一篇介绍如何在自家平台上应用 garak 的文章中，讲清了实际要做的工作：REST generator 需要一份 JSON 配置文件，描述请求的结构以及如何读取响应。换句话说，garak 不会去猜客户的 API，得由你告诉它。

假设客户是一家保险公司，聊天机器人负责解答保单问题，对方工程团队给了你这样一个请求样例（字段名为虚构）：

```json
{"session_id": "test-01", "message": "如果我家被洪水淹了，保单会赔吗？"}
```

以及机器人的一个响应样例：

```json
{"reply": "根据附加条款，您的保单……", "sources": ["supplementary-terms.pdf"]}
```

根据这一对样例，配置文件只需写清两件事。请求一侧：保留结构，把 `message` 字段里的问题替换成探针生成的提示词。响应一侧：从 `reply` 字段取回答，忽略 `sources`，因为检测器只应评判机器人说了什么。

配置文件里的键名，请直接照抄 garak 的 REST generator 文档，不要自己猜。真正的难点是从客户那里拿到准确的请求和响应样例，所以要在确定范围的会议上就提出来。

## PASS 和 FAIL 到底衡量什么？

“Reading the results”文档给出了一行示例：`FAIL ok on 17/ 20 (failure rate: 15%)`。仔细读：探针产生了 20 个输出，检测器判定 17 个正常、捕获 3 个，因此失败率为 15%，整行标记为 FAIL。

这页文档没有规定多少算通过。所以“你们的聊天机器人 FAIL 了”是一种糟糕的表述，准确的说法是“该探针的 20 次尝试中，有 3 次产生了被检测器标记的输出”。

第二个细节更容易被忽略：同一组输出可以由多个检测器评分。因此同一个探针可能在一个检测器上 PASS、在另一个上 FAIL，给客户的报告必须写明哪个结果出自哪个检测器。

**要点:** 一行 PASS 只说明这次尝试没有得逞，并不说明系统是安全的。

## garak 替你做不了的事

Databricks 从两个方向都提出了警告。测试中成功率低，不代表免疫；检测器也会误报，结果往往需要人工复核。

所以，把 FAIL 放上幻灯片之前，先打开那 3 个被标记的输出亲自读一遍。写下“已通过”之前，先记录跑了哪些探针、在什么环境下跑的。

最大的限制来自法律。文档说得很直白：只在你获准使用的系统上运行 garak。没有书面许可就向客户的生产环境发起成批的攻击提示词，对方安全团队可能会当成真实攻击处理。因此要先就范围、环境和扫描时间达成一致。

## 先学什么，简历上怎么写

先跑上面那条 gpt2 命令，再用通过的输出数除以总数，自己算一遍失败率。接着自己搭一个小型 REST 端点，写一份 JSON 配置文件让 garak 能调用它，这正是到客户现场要用的技能。

把这项技能写进简历时，要把它表述成一种边界清晰的测量。比如“通过 REST 将 garak 接入内部聊天机器人，按版本跟踪各探针的失败率，每个 FAIL 均经人工复核后再报告”，这句话说明你懂得如何测量，也知道测量能说明到什么程度。

如果还没有真实客户，就拿自己的开源项目来做，并公开命令、配置文件和结果。客户不会记得你用了哪个工具，但会记得那个直截了当告诉他们“PASS 不等于安全”的人。

**本周动手试试:**

- 用 pip 安装 garak，按“Your first scan”指南用 lmrc.Profanity 探针重跑 gpt2 扫描，再用通过的输出数除以总数，自己算出失败率
- 从结果中挑一个 FAIL，打开检测器捕获的输出，记下哪些是真实失效、哪些是误报
- 起草一页“LLM 安全测试范围”模板，涵盖端点、环境、扫描时间、请求样例和响应样例，请客户书面确认

## 信源

- [garak: A Framework for Security Probing Large Language Models](https://arxiv.org/abs/2406.11036)

- [GitHub - NVIDIA/garak: the LLM vulnerability scanner](https://github.com/NVIDIA/garak)

- [Your first scan - garak documentation](https://docs.garak.ai/garak/llm-scanning-basics/your-first-scan.md)

- [garak: LLM vulnerability scanner](https://garak.ai)

- [Welcome to garak!](https://docs.garak.ai/)

- [Reading the results - garak documentation](https://docs.garak.ai/garak/llm-scanning-basics/reading-the-results.md)

- [AI Security in Action: Applying NVIDIA's Garak to LLMs on Databricks](https://www.databricks.com/blog/ai-security-action-applying-nvidias-garak-llms-databricks)
