# 一个 YAML 文件，回答 LLM 客户必问的两个问题

> Promptfoo 在本地跑评测和红队测试，3 个 prompt、2 个模型、20 道题一次得出 120 个结果。

原文: https://fdetimes.net/zh/tools/promptfoo-yaml-eval-red-team-llm/

3 个 prompt，2 个模型，20 道示例问题。用 Promptfoo，一条命令就能跑完全部 120 种组合，并把结果并排放进一张表。

这样一来，当客户问新 prompt 是否比旧的好时，前线部署工程师（FDE）可以拿出具体的计数来回答，而不是凭演示时手动试几次得来的印象。

官方文档将 Promptfoo 描述为一个用于评测和红队测试 LLM 应用的开源 CLI 和库。几乎每个真实的 LLM 部署都同时需要这两样：客户想知道系统答对的频率有多高，客户的安全团队想知道系统有多容易被攻破。

Promptfoo 用一个配置文件同时解决这两件事。也就是说，学一个工具，就能回答客户几乎必然会问的两个问题。

## FDE 为什么应该选择声明式评测？

Promptfoo 强调用声明的方式定义评测，而不是写代码或在笨重的 notebook 里折腾。对 FDE 来说，好处在于谁能读懂这个文件。YAML 足够短，客户的产品负责人也能看懂；又足够清晰，你离开项目后客户的工程师可以接手维护。

Promptfoo 还完全在本地机器上运行，直接调用 LLM。当测试集来自客户真实的工单或合同时，你不必解释为什么他们的数据又要经过一个第三方服务。

GitHub 仓库将该工具描述为简单的声明式配置，集成 CLI 和 CI/CD，可以并排比较多个模型提供商。

## 一个最小的 YAML 文件长什么样？

`promptfoo init` 命令会打开一个交互式 CLI，生成初始配置文件，通常命名为 `promptfooconfig.yaml`。

文件有三个主要部分：`prompts`（要比较的 prompt 版本）、`providers`（模型）和 `tests`（测试用例）。`assert` 是可选的，但它能自动判定不合格的输出失败，比如不是合法 JSON 的输出。

下面的骨架展示了全部四个部分。prompt 要求模型从邮件中提取订单号和投诉原因并返回 JSON，示例邮件的内容是：“订单 4821 少送了两箱，我要退款。”你只需把两行占位的 provider 换成真实模型：

```yaml
prompts:
  - "从以下邮件中提取订单号和投诉原因，返回 JSON：{{email}}"
providers:
  - <client-current-model>
  - <candidate-model>
tests:
  - vars:
      email: "订单 4821 少送了 2 箱，我要退款。"
    assert:
      - type: is-json
```

（占位符分别代表客户当前使用的模型和候选模型。）

接着，`promptfoo eval` 会在每个测试用例上，让每个 prompt 与每个模型逐一组合运行。测试集变大后，`tests` 属性可以接收一组文件或目录路径。客户就可以把自己的测试用例放进共享文件夹，而不必全部塞进一个文件。

## 从模糊的“质量”到四封失败的邮件

假设一家物流公司想换一个更便宜的模型来分类投诉邮件。你取 20 封真实邮件，保留要求输出 JSON 的 assert，然后让两个模型都跑一遍。下表是假设的结果，仅用于说明如何解读：

| 测试用例 | 当前模型 | 候选模型 |
|---|---|---|
| 邮件 1：少送货 | 通过 | 通过 |
| 邮件 7：长邮件，涉及多个订单 | 通过 | 失败，输出不是 JSON |
| 邮件 12：客户夹杂英文 | 通过 | 失败，输出不是 JSON |
| 合计，20 封邮件 | 20/20 通过 | 16/20 通过 |

有了这张表，下一次会议讨论的就是四封失败的邮件，而不是关于“质量”的空泛争论。客户可能接受切换，并为长邮件加一道处理步骤；也可能保留旧模型。无论哪种，决策都落在具体的几行结果上。

## 红队测试：赶在客户之前找到漏洞

Promptfoo 的另一半是红队测试。文档将其描述为在部署前发现 AI 系统漏洞、并获得量化风险度量的方法。Promptfoo 把 LLM 的失效类型归为一个个“plugin”，每个 plugin 是一组对抗性测试。

红队测试配置同样写在 `promptfooconfig.yaml` 里。下面的骨架只展示结构。实际的 plugin 名称请从红队测试文档的列表中挑选，对应客户最担心的失效类型：

```yaml
providers:
  - <client-chatbot>
redteam:
  plugins:
    - <plugin-for-failure-type-1>
    - <plugin-for-failure-type-2>
```

（占位符分别代表客户的聊天机器人，以及对应每种失效类型的 plugin。）

流程分三步。保存配置；运行 `promptfoo redteam run`，它会生成几百条对抗性输入写入 `redteam.yaml`，并发送给系统；然后打开 `promptfoo redteam report` 查看结果。如果不想用 Web 界面做配置，可以改用 `init` 命令。

**要点:** 评测告诉你系统答对的频率，红队测试告诉你系统有多容易被攻破。

对 FDE 来说，价值在于风险变成了数字，而不是感觉。一个实用建议：向客户安全团队汇报时，把 `redteam.yaml` 文件和报告一起带上。他们可以自己重跑、自己核对风险度量，而不必依赖你对测试内容的描述。

## CI/CD 中何时应重跑评测？

由于 Promptfoo 集成了 CLI 和 CI/CD，真正的问题不是要不要放进流水线，而是哪些变更应该触发它。有三个时刻必须重跑 `promptfoo eval`。

第一，任何 prompt 修改，哪怕只是一条看似无害的指令。第二，更换模型，或在 `providers` 中加入新的候选模型，就像上面的物流场景。第三，客户接入新的数据源。从中取几条真实样本放进 `tests` 文件夹，然后再让它上生产环境。

至于红队测试，每次大版本发布前重跑比每次提交都跑更合理，因为每一轮都会生成几百条对抗性输入。这只是运维层面的建议，具体频率请与客户的安全团队商定。

## 数字好不好，取决于测试集

只有测试集反映客户的真实数据，Promptfoo 的结果才有意义。如果 20 道示例题是你自己编的，而不是取自真实日志，结果表会很好看，却说明不了任何问题。评测中最难的部分仍然是客户调研：和用户坐在一起，弄清楚什么样的回答才算正确。

归属问题同样重要。2026 年 3 月 9 日，联合创始人 Ian Webster 和 Michael D'Angelo 宣布 Promptfoo 已同意被 OpenAI 收购，并承诺项目将保持开源，继续服务现有用户。

MIT 许可证提供了一定保障。即便如此，如果客户使用的是其他提供商的模型，在工具评审时最好主动提出这一点，而不是等客户自己发现。

## 先学什么，简历上怎么写

先学评测，再学红队测试。先熟悉 prompts、providers、tests 和 assert 的结构，练习用真实数据编写测试用例；然后学习对抗性 plugin；最后把两者都接入 CI/CD。

阅读 FDE 或 AI 工程师岗位的职位描述时，留意“LLM evaluation”“red teaming”“guardrails”这类关键词。在简历上，像“用 Promptfoo 搭建了包含 200 个测试用例的评测套件，在 CI 中运行，在切换模型前拦截格式错误”这样的一行，远比“有 prompt engineering 经验”更有分量。

FDE 招聘经理希望看到的是：你能把客户模糊的问题变成任何人都能核查的数字。

**本周动手试试:**

- 运行 promptfoo init，用手头项目中的真实问题写 10 个测试用例，加一条让非 JSON 输出判定失败的 assert，然后用 promptfoo eval 对 2 个模型运行。
- 对一个内部或演示用的聊天机器人跑一轮红队测试，阅读 redteam report，并像发给客户一样写一份三行的风险摘要。
- 把 promptfoo eval 加进个人仓库的 CI 流水线，让每次修改 prompt 都重跑测试集。

## 信源

- [Intro | Promptfoo](https://www.promptfoo.dev/docs/intro/)

- [Promptfoo: LLM evals & red teaming (GitHub promptfoo/promptfoo)](https://github.com/promptfoo/promptfoo)

- [Getting started | Promptfoo](https://www.promptfoo.dev/docs/getting-started/)

- [Configuration Overview - Getting Started with Promptfoo | Promptfoo](https://www.promptfoo.dev/docs/configuration/guide/)

- [LLM red teaming guide (open source) | Promptfoo](https://www.promptfoo.dev/docs/red-team/)

- [Getting started | Promptfoo (red team quickstart)](https://www.promptfoo.dev/docs/red-team/quickstart/)

- [Promptfoo is joining OpenAI](https://www.promptfoo.dev/blog/promptfoo-joining-openai/)
