FDE Times 数据在招 FDE 职位 8840 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 53在招公司 185支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

流水线变绿,不等于客户环境里真的跑起来了

三个 pytest 测试加一个退出码,就能决定是否回滚,前提是退出码 5 不能漏过关口。

分享微博

要点速览

  • 冒烟测试只检查少数关键路径,例如启动、数据库连接和认证,2 分钟内跑完。
  • 在 conftest.py 中声明命令行选项,同一套测试就能在任意客户环境中运行。
  • 部署脚本必须把所有非零退出码都视为失败,包括退出码 5(没有收集到任何测试)。
决策树:pytest 返回一个退出码。退出码 0(全部测试通过)表示保留本次部署。退出码 1(有测试失败)表示应考虑回滚。退出码 5(没有运行任何测试)以橙色标出,必须按失败处理。脚本中正确的判断条件是 -ne 0。
部署脚本如果只检查退出码 1,退出码 5 就会被放行:只要一个拼写错误,比如 -m smoek,就一个测试都不会运行。来源:文中引用的 pytest 退出码文档。

在 ArgoCD 中,可以把冒烟测试挂到 PostSync hook 上,部署一完成就自动运行。有一个细节常被忽略:测试失败时,同步会被标记为失败,但新资源仍然留在集群里。工具只负责通知你,是否回滚仍要你自己决定。

对前线部署工程师(FDE)来说,这是日常工作。你把产品安装到客户的基础设施中,用的是客户自己的网络、数据库和登录系统,流水线显示绿色。Google SRE Workbook 明确指出,有些发布故障只有在真实流量开始进入服务后才会暴露。客户环境恰恰就是这些故障出现的地方。

本文介绍如何用 pytest 编写一套冒烟测试。这套测试只需一个命令行选项就能在任意客户环境中运行,并返回一个退出码,部署脚本据此决定保留版本还是回滚。

要做什么,需要准备什么

举一个假设的例子:你刚把一个文档搜索服务部署到客户的基础设施中。该服务有三个端点,同样是为说明而虚构的:/health 表示进程已启动,/ready 只在能连上数据库时返回 200,/api/search 需要令牌。实际工作中,请换成你的产品对外提供的端点。

你需要 Python 3、pytest、待检查环境的 URL,以及一个保存在环境变量中的测试令牌。下面的代码使用标准库 urllib,无需额外安装任何东西。这是一个精简版本,足以掌握方法,但不是可以直接上生产环境的成品。

smoke/
  pytest.ini
  conftest.py
  test_smoke.py

第 1 步:只检查会让整个系统瘫痪的部分

冒烟测试是对核心功能是否可用的快速检查,它能尽早告诉你部署的基础部分是否在正常运行。范围只限于关键路径,例如启动、数据库连接和认证。边界情况和单个小功能不属于这里。

整套测试的时间预算应控制在 2 分钟以内。上面的例子有三个测试,每个请求的超时时间为 5 秒。最坏情况是四个请求都挂起直到超时,大约 20 秒,仍远在限制之内。如果测试集开始膨胀到好几分钟,说明你把回归测试放错了地方。

第 2 步:注册标记,让 pytest 帮你发现拼写错误

pytest 建议在配置文件中注册自定义标记,比如 smoke:

# pytest.ini
[pytest]
markers =
    smoke: 部署后对关键路径的快速检查

验证:运行 pytest --markers,在列表中找到 smoke 这一行。运行测试时,始终加上 --strict-markers。开启这个参数后,用 @pytest.mark... 装饰器打上的任何未注册标记都会报错。拼错的 @pytest.mark.smok 会被立即拦下,而不是悄无声息地让这个测试永远不被选中。

第 3 步:一套测试适配所有客户环境

不要把 URL 写死。pytest 文档介绍了如何在 conftest.py 中通过 pytest_addoption 添加命令行选项,再通过 fixture 把值传给测试:

# conftest.py
import pytest

def pytest_addoption(parser):
    parser.addoption("--target-url", action="store", default=None,
                     help="待检查环境的基础 URL")

@pytest.fixture
def target_url(request):
    url = request.config.getoption("--target-url")
    if not url:
        pytest.fail("缺少 --target-url")
    return url.rstrip("/")

验证:运行 pytest --help,在自定义选项中找到 --target-url。

第 4 步:为三条关键路径写三个测试

# test_smoke.py
import os
import urllib.error
import urllib.request

import pytest

TIMEOUT = 5  # 秒

def get_status(url, token=None):
    req = urllib.request.Request(url)
    if token:
        req.add_header("Authorization", f"Bearer {token}")  # 假定的认证方式
    try:
        with urllib.request.urlopen(req, timeout=TIMEOUT) as resp:
            return resp.status
    except urllib.error.HTTPError as err:
        return err.code

@pytest.mark.smoke
def test_service_started(target_url):
    assert get_status(f"{target_url}/health") == 200

@pytest.mark.smoke
def test_database_reachable(target_url):
    assert get_status(f"{target_url}/ready") == 200

@pytest.mark.smoke
def test_auth_rejects_then_accepts(target_url):
    assert get_status(f"{target_url}/api/search?q=test") == 401
    token = os.environ["SMOKE_TOKEN"]
    assert get_status(f"{target_url}/api/search?q=test", token) == 200

第三个测试同时检查两个方向。不带令牌也能访问是安全漏洞,而不是成功。如果测试只检查“带令牌时返回 200”,那么即使认证层被彻底关闭,它照样会通过。

第 5 步:用退出码决定保留还是回滚

部署脚本需要读取的是 pytest 的退出码。0 表示所有测试通过;1 表示测试已收集并运行,但有失败;5 表示没有收集到任何测试,这正是陷阱所在。

pytest -m smoke --strict-markers --target-url "$TARGET_URL" -q
rc=$?
if [ "$rc" -ne 0 ]; then
  echo "冒烟测试失败(退出码 $rc),请考虑回滚"
  exit 1
fi

假设你在命令行里把 -m smoek 打错了。--strict-markers 只能发现装饰器中的拼写错误,管不到 -m 表达式,于是 pytest 一个测试也没选中,返回退出码 5。如果脚本只检查 rc -eq 1,部署就会在一个测试都没跑的情况下通过关口。所以正确的条件是 -ne 0。

冒烟测试骗过你的三种方式

第一种就是上面说的退出码 5 陷阱。第二种是任由测试集膨胀到要跑十分钟:人们赶时间时就会跳过它,而那恰恰是最需要它的时候。

冒烟测试的价值在于快:测试一失败,你立刻知道出了问题,可以在用户察觉之前回滚。

第三种是以为系统会替你处理。正如开头 ArgoCD 的例子所示,PostSync hook 失败并不会移除新资源。在按下部署之前,先写好回滚流程,至少要指定一位有权做决定的负责人。

这项技能在客户现场是什么样子

Google SRE 把金丝雀发布定义为对变更进行部分的、有时限的部署,并同时对该变更进行评估。冒烟测试是这一评估步骤的简化版,在你到客户现场的第一周、还没有流量切分和监控面板时,它往往是唯一可行的方案。

第一周要做的第一件事,是请客户提供一个专用于冒烟测试的测试账号,这样 SMOKE_TOKEN 就不必借用真人的令牌。

这套测试也是沟通工具。客户问“装好了吗?”,你可以用三行绿色结果和一个退出码来回答,而不是“应该没问题”。

在面试或简历中,要讲具体:冒烟测试检查哪些路径,在流水线的哪个阶段运行,发现过哪些故障。这样的描述能表明,你能验证产品确实在运行,而不只是部署上去了。

流水线变绿,说明代码已经交付。产品是否真的在客户的基础设施上跑起来,只有那三个 pytest 测试能回答。

这篇文章对你有帮助吗?

6 个信源
路线图上的下一篇 · 阶段 5: 部署上线没有 K8s,Docker Compose 也能自动回滚坏版本健康检查、--wait 参数,加上 deploy.sh 里一个 else 分支,新版本未能按时变健康时就自动换回旧镜像。