FDE Times 数据在招 FDE 职位 881▼8 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 55在招公司 185支持远程 25%美国薪资中位数 $201k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

工具

还没拿到 staging 权限?Testcontainers 给你真实的 Postgres

只要有 Docker,每次测试都有独立的临时数据库和 Redis,拿到权限前就能验证集成代码。

分享微博

要点速览

  • Testcontainers 在每次测试运行时用 Docker 创建真实的数据库和服务,测完即删,唯一的前提是 Docker。
  • 对 FDE 来说,这意味着在客户开放 staging 权限之前,就能测试集成代码。
  • Go 版本需要自己设置等待策略,并提供 Snapshot,让每个测试都拿到干净的数据库。
循环示意图,四个步骤均匀分布在一个圆环上:声明 Postgres/Redis 容器;设置等待策略(必需步骤,以橙色突出显示);运行测试;删除容器,再回到第一步。圆环中央写着:只需 Docker。
使用 Testcontainers,每次测试运行都会启动独立的 Postgres 或 Redis 容器,运行结束后自动删除。Go 的 Postgres 模块没有默认等待策略,必须自行设置,否则在较慢的 CI 机器上,测试套件可能会随机失败。

到客户那里的第一周,申请 staging 权限的工单通常还躺在基础设施团队的队列里,没人处理。与此同时,你已经得为客户要的服务写好 Postgres 读写层和 Redis 缓存层。mock 测试全部通过,但 mock 无法告诉你,这些 SQL 在真实的 Postgres 上能不能正确运行。

Testcontainers 填补的正是这个空白。据官网介绍,它是一个开源库,可以为数据库以及任何能在 Docker 容器中运行的东西提供轻量、用完即弃的实例。你在代码中声明测试的依赖,运行测试,容器随之创建,然后删除。

对前线部署工程师(FDE)来说,这在实践中意味着摆脱了一个受制于别人排期的大依赖。从第一天起,就能在自己的笔记本上用真实数据库测试集成代码。

它成熟到可以带进客户项目吗?

Java 版本由 Richard North 于 2015 年创建,采用 MIT 许可证发布。2023 年 12 月 11 日,Docker 宣布收购 Testcontainers 背后的公司 AtomicJar。Docker 表示,Testcontainers 在 Docker Hub 上的拉取量在过去一年翻了一番,从 5000 万次增至 1 亿次,并承诺开源组件的许可证保持不变。

比起这些数字,最后这一点对你更重要。当你提议往客户的代码仓库里加一个库时,安全或法务团队问的第一个问题通常就是许可证。提前准备好明确的答案,这场对话就能短很多。

官网称,Testcontainers 支持多种语言和测试框架,唯一的前提是 Docker。Java 版本主要面向数据访问层的集成测试,对接运行在容器中的 MySQL、PostgreSQL 或 Oracle。它也可以让整个应用以短时测试模式与依赖一起运行。

设想一个用 Go 写的订单服务

假设客户是一家零售连锁企业,你在写一个从 Postgres 读取订单的 Go 服务。你有三个测试:创建新订单、读取刚创建的订单、删除订单。

如果三个测试共用一个数据库,删除测试可能会破坏读取测试需要的数据。结果就取决于执行顺序,而这种“时绿时红”的失败,最能迅速摧毁客户对测试套件的信任。

Go 版本对此有现成的答案:它的 Postgres 模块带有 Snapshot 功能,让每个测试都从干净的数据库开始。每个测试有了自己的数据库,三个测试就互不影响,结果也不再取决于运行顺序。

打开文档之前,先把测试套件的步骤顺序理一遍会有帮助。下面是用于理清思路的伪代码,并非库中真实的函数名:

// 伪代码:步骤顺序,不是真实 API
1. 启动 Postgres 容器,并显式设置等待策略
2. 准备三个测试所需的 schema 和示例数据
3. 使用 Snapshot,让每个测试都在干净的数据库上运行
4. 运行测试:创建、读取、删除订单
5. 结束运行;容器被删除

阅读 Go Postgres 模块的页面时,只需找两样东西:用 Snapshot 为每个测试提供干净数据库的示例,以及声明等待策略的位置。把这两段代码复制到第一个测试里,跑通之后再写第二个。

Redis 呢?

缓存层有一点需要注意:各语言版本的模块,功能不一定相同。这里提到的 Redis 模块属于 Node.js 版本,与上文 Go 的 Postgres 模块是不同的语言版本。如果客户的缓存服务用 Node.js 编写,就把该模块作为开发依赖安装:

npm install @testcontainers/redis --save-dev

作为开发依赖安装,意味着这个库属于测试套件,而不属于客户要运行的代码。请在 pull request 描述中写明这一点,因为客户的代码评审者一定会问。如果是 Go 服务,先查阅 Go 文档,不要想当然地认为有对应的模块。

第一个坑:“容器准备好了吗?”

容器启动完成,并不代表里面的 Postgres 已经可以接受连接。Go Postgres 模块的文档写得很清楚:没有默认的等待策略,必须自己设置。

跳过这一步,测试套件可能在性能强劲的笔记本上运行正常,却在客户较慢的 CI 机器上随机失败。把等待策略当作每个容器声明的必选部分,而不是以后再补的选项;并尽早在客户的 CI 上运行测试套件,让问题提前暴露。

它替代不了什么?

最明显的限制就写在它的卖点里:唯一需要的是 Docker。所以在客户需求调研阶段,承诺交付集成测试套件之前,先问清楚客户的开发笔记本和 CI 是否允许运行 Docker。

第二个限制是,容器与客户环境的相似程度,完全取决于你的配置。Postgres 版本、扩展和示例数据都由你选择。在与生产环境不同的 Postgres 版本上测试通过,能证明的东西比你想的要少。

因此,Testcontainers 能让你抢在 staging 之前开工,但无法替代 staging。它能及早发现 SQL、缓存和迁移方面的 bug;访问权限、数据量和真实的网络配置,仍然要在客户环境中验证。

先学什么,简历上怎么写

合理的顺序是:先学够读懂容器日志的 Docker 知识,再用你最常用的语言为数据访问层写一个集成测试,然后才加入 Redis 和 Snapshot 这类技巧。每一步都应该既能在笔记本上跑,也能在 CI 上跑。

阅读 FDE 招聘启事时,留意关于部署到客户环境、或在权限受限时开展工作的描述,这些地方值得在求职材料中提到这项技能。

简历上不要只罗列库的名字,要写出结果:在客户开放 staging 权限之前,你用真实数据库完成了集成测试,写了多少个测试,运行耗时多少。

staging 工单也许还要再搁置一周。在你笔记本上跑着真实 Postgres 的测试套件,不必等任何人。

这篇文章对你有帮助吗?

6 个信源
路线图上的下一篇 · 阶段 2: 全栈工程能力已在客户库上跑过的迁移,为什么绝不能再改Flyway、Rails 和 Liquibase 都会记录每次执行的迁移,正确做法永远是新增文件,而不是改旧文件。