FDE 用 AWS CDK 复刻客户基础设施,不必从头再敲
最常见的坑是写死的存储桶名或改名的构造,任何一个都会让本该顺利重复的部署失败。
要点速览
- CDK 用普通代码定义基础设施,并通过 CloudFormation 部署,支持包括 TypeScript 在内的 6 类语言。
- 每个环境就是一组账户与 Region。同一个栈类可以为每个客户各实例化一次,前提是每个环境都已执行过一次 bootstrap。
- 让 CDK 自动生成资源名,把数据库放进独立的栈,并提交 cdk.context.json,这样下一次部署才不会偏离上一次。
代码里只要写死一个存储桶名,就无法在同一个 AWS 账户里再搭一套同样的基础设施。AWS CDK 的最佳实践指南专门提醒过这一点。对前线部署工程师(FDE)来说,这正是可重复部署与“为新客户在控制台里再点一周”之间的分界线。
FDE 很少只服务一个客户。为第一个客户搭建的模式,迟早要搬到第二个、第三个客户那里,有时还要求数据放在另一个 Region。如果第一个客户的基础设施只存在于控制台和你的脑子里,下一个客户就只能从零开始。
AWS CDK 把基础设施变成可复用的代码库。要用好它,需要弄清它能做什么、边界该划在哪里,以及最容易出错的地方。
用普通代码写基础设施,经由 CloudFormation 部署
CDK 是 AWS 开发的开源框架。你用代码描述基础设施,CDK 通过 CloudFormation 完成资源配置。框架支持 TypeScript、JavaScript、Python、Java、C#/.NET 和 Go。源码托管在公开仓库 aws/aws-cdk,采用 Apache-2.0 许可证。
第 2 版于 2021 年 12 月 2 日正式发布(GA),把所有稳定的构造库合并进单一的 aws-cdk-lib 包。因此新项目只需要一个主依赖,不必再引入一长串独立的包。
最大的好处在于,基础设施成了普通代码:可以走 pull request 评审,可以写单元测试,也可以像其他软件一样纳入版本控制。交付时,客户拿到的是一个可读的代码仓库,而不是一份控制台操作清单。
每个客户就是一个环境
在 CDK 里,环境(environment)指栈所部署到的 AWS 账户与 Region 组合。官方文档的示例是把同一个栈类实例化两次,一次传入美国的 env,一次传入欧洲的 env。这也是按客户部署的基本模式。
AWS 建议把两件事分开:用构造建模,用栈部署。构造(construct)是可复用的逻辑单元,比如一条文档摄取管道;栈(stack)只负责为特定部署场景组装构造。假设客户 A 在美国运行,客户 B 要求数据留在欧盟,最简代码如下:
import { App, Stack, StackProps } from 'aws-cdk-lib';
import { Construct } from 'constructs';
import * as s3 from 'aws-cdk-lib/aws-s3';
// 每个客户都复用的构造
class DocIngest extends Construct {
constructor(scope: Construct, id: string) {
super(scope, id);
new s3.Bucket(this, 'Raw'); // 不设置 bucketName,交给 CDK 生成名称
}
}
class CustomerStack extends Stack {
constructor(scope: Construct, id: string, props: StackProps) {
super(scope, id, props);
new DocIngest(this, 'DocIngest');
}
}
const app = new App();
new CustomerStack(app, 'customer-a-us', { env: { account: '111111111111', region: 'us-east-1' } });
new CustomerStack(app, 'customer-b-eu', { env: { account: '222222222222', region: 'eu-west-1' } });
每个客户的配置直接写在源码里,而不是放进参数化模板。这是 AWS 推荐的做法,目的是让每次提交都为每个环境生成确定的 CloudFormation 模板。客户问起当前运行的是哪个版本的基础设施,答案就是一个 commit hash。
首次部署前,每个环境都要用 cdk bootstrap 执行一次 bootstrap,因为各环境之间完全独立。以 2 个客户为例,每个客户在两个不同 Region 各有预发和生产环境,就是 4 个环境,需要 4 次 bootstrap。把这一步列进清单,在第一次拿到客户账户权限的那天完成。
破坏可重复性的三种方式
第一是资源名。写死表名或存储桶名,同一套基础设施就无法在一个账户里部署两次。客户一旦想在生产环境旁边再建一个测试环境,事情就卡住了。应该让 CDK 生成名称,再传给应用。
第二种更危险。修改资源的逻辑 ID,比如重构时给构造改了名,会导致下次部署时该资源被替换成新资源。对客户的数据库来说,这就是一次真实事故。AWS 建议把数据库这类有状态资源放进独立的栈,并开启终止保护。
第三是查找操作,比如查找 VPC 或 AMI。查找结果缓存在 cdk.context.json 中,这个文件需要和代码一起提交,后续运行才会用到相同的值。客户环境往往一用就是好几年,只要有一次查找返回不同结果,就足以让一套稳定的部署偏离轨道。
向客户承诺之前要了解的限制
CDK 通过 CloudFormation 配置资源,所以它是面向 AWS 基础设施的工具。客户如果用的是别家云,就需要换一种方案。bootstrap 这一步还需要客户每个账户的权限。在大型企业里,拿到权限的时间可能比写代码还长,所以要在需求调研阶段就提出这个问题。
客户数量增多后,从笔记本上部署就行不通了。CDK Pipelines 模块可以自动构建、测试和部署 CDK 应用,而且能自我更新:新增一个 stage 或栈,流水线会自动重新配置并完成部署。AWS 建议把各个 stage 放在不同环境中,这与“每个客户一个账户”的模式正好契合。
学习顺序
先学构造与栈的边界,因为这是日后最难更改的设计决策。接着是环境和 bootstrap,然后是模板的单元测试。CDK Pipelines 放到最后,等你真正需要管理两个或更多客户时再学。
浏览 FDE 招聘岗位时,留意“infrastructure as code”或“deploy into customer environments”这类表述。简历上写一句具体的“一个构造,部署到 N 个环境,配有单元测试”,远比“精通 AWS”有分量。最好的证明是一个恰好做到这一点的公开仓库。
面对第一个客户时,CDK 看起来像是额外负担。到了第二个客户,你就会明白它的价值。
这篇文章对你有帮助吗?
感谢你的反馈!
7 个信源
- What is the AWS CDK? - AWS CDK v2 Developer Guide
- AWS Cloud Development Kit (AWS CDK) v2 is now generally available · 2021-12-02
- aws/aws-cdk: The AWS Cloud Development Kit is a framework for defining cloud infrastructure in code
- Environments for the AWS CDK
- Best practices for developing and deploying cloud infrastructure with the AWS CDK
- AWS CDK bootstrapping
- Continuous integration and delivery (CI/CD) using CDK Pipelines