FDE Times 数据在招 FDE 职位 873▼9 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 55在招公司 181支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

工具

FDE 用 AWS CDK 复刻客户基础设施,不必从头再敲

最常见的坑是写死的存储桶名或改名的构造,任何一个都会让本该顺利重复的部署失败。

分享微博

要点速览

  • CDK 用普通代码定义基础设施,并通过 CloudFormation 部署,支持包括 TypeScript 在内的 6 类语言。
  • 每个环境就是一组账户与 Region。同一个栈类可以为每个客户各实例化一次,前提是每个环境都已执行过一次 bootstrap。
  • 让 CDK 自动生成资源名,把数据库放进独立的栈,并提交 cdk.context.json,这样下一次部署才不会偏离上一次。
示意图:一个 DocIngest 构造(橙色高亮)在 client-a-us 和 client-b-eu 两个栈中复用。两个栈分别部署到两个环境:us-east-1 的客户 A 和 eu-west-1 的客户 B,每个环境都需运行一次 cdk bootstrap。
构造承载对每个客户都复用的逻辑,栈只负责为每个环境(即一组 AWS 账户与 Region)组装构造。来源:文中引用的 AWS CDK 最佳实践文档。

代码里只要写死一个存储桶名,就无法在同一个 AWS 账户里再搭一套同样的基础设施。AWS CDK 的最佳实践指南专门提醒过这一点。对前线部署工程师(FDE)来说,这正是可重复部署与“为新客户在控制台里再点一周”之间的分界线。

FDE 很少只服务一个客户。为第一个客户搭建的模式,迟早要搬到第二个、第三个客户那里,有时还要求数据放在另一个 Region。如果第一个客户的基础设施只存在于控制台和你的脑子里,下一个客户就只能从零开始。

AWS CDK 把基础设施变成可复用的代码库。要用好它,需要弄清它能做什么、边界该划在哪里,以及最容易出错的地方。

用普通代码写基础设施,经由 CloudFormation 部署

CDK 是 AWS 开发的开源框架。你用代码描述基础设施,CDK 通过 CloudFormation 完成资源配置。框架支持 TypeScript、JavaScript、Python、Java、C#/.NET 和 Go。源码托管在公开仓库 aws/aws-cdk,采用 Apache-2.0 许可证。

第 2 版于 2021 年 12 月 2 日正式发布(GA),把所有稳定的构造库合并进单一的 aws-cdk-lib 包。因此新项目只需要一个主依赖,不必再引入一长串独立的包。

最大的好处在于,基础设施成了普通代码:可以走 pull request 评审,可以写单元测试,也可以像其他软件一样纳入版本控制。交付时,客户拿到的是一个可读的代码仓库,而不是一份控制台操作清单。

每个客户就是一个环境

在 CDK 里,环境(environment)指栈所部署到的 AWS 账户与 Region 组合。官方文档的示例是把同一个栈类实例化两次,一次传入美国的 env,一次传入欧洲的 env。这也是按客户部署的基本模式。

AWS 建议把两件事分开:用构造建模,用栈部署。构造(construct)是可复用的逻辑单元,比如一条文档摄取管道;栈(stack)只负责为特定部署场景组装构造。假设客户 A 在美国运行,客户 B 要求数据留在欧盟,最简代码如下:

import { App, Stack, StackProps } from 'aws-cdk-lib';
import { Construct } from 'constructs';
import * as s3 from 'aws-cdk-lib/aws-s3';

// 每个客户都复用的构造
class DocIngest extends Construct {
  constructor(scope: Construct, id: string) {
    super(scope, id);
    new s3.Bucket(this, 'Raw'); // 不设置 bucketName,交给 CDK 生成名称
  }
}

class CustomerStack extends Stack {
  constructor(scope: Construct, id: string, props: StackProps) {
    super(scope, id, props);
    new DocIngest(this, 'DocIngest');
  }
}

const app = new App();
new CustomerStack(app, 'customer-a-us', { env: { account: '111111111111', region: 'us-east-1' } });
new CustomerStack(app, 'customer-b-eu', { env: { account: '222222222222', region: 'eu-west-1' } });

每个客户的配置直接写在源码里,而不是放进参数化模板。这是 AWS 推荐的做法,目的是让每次提交都为每个环境生成确定的 CloudFormation 模板。客户问起当前运行的是哪个版本的基础设施,答案就是一个 commit hash。

首次部署前,每个环境都要用 cdk bootstrap 执行一次 bootstrap,因为各环境之间完全独立。以 2 个客户为例,每个客户在两个不同 Region 各有预发和生产环境,就是 4 个环境,需要 4 次 bootstrap。把这一步列进清单,在第一次拿到客户账户权限的那天完成。

破坏可重复性的三种方式

第一是资源名。写死表名或存储桶名,同一套基础设施就无法在一个账户里部署两次。客户一旦想在生产环境旁边再建一个测试环境,事情就卡住了。应该让 CDK 生成名称,再传给应用。

第二种更危险。修改资源的逻辑 ID,比如重构时给构造改了名,会导致下次部署时该资源被替换成新资源。对客户的数据库来说,这就是一次真实事故。AWS 建议把数据库这类有状态资源放进独立的栈,并开启终止保护。

第三是查找操作,比如查找 VPC 或 AMI。查找结果缓存在 cdk.context.json 中,这个文件需要和代码一起提交,后续运行才会用到相同的值。客户环境往往一用就是好几年,只要有一次查找返回不同结果,就足以让一套稳定的部署偏离轨道。

向客户承诺之前要了解的限制

CDK 通过 CloudFormation 配置资源,所以它是面向 AWS 基础设施的工具。客户如果用的是别家云,就需要换一种方案。bootstrap 这一步还需要客户每个账户的权限。在大型企业里,拿到权限的时间可能比写代码还长,所以要在需求调研阶段就提出这个问题。

客户数量增多后,从笔记本上部署就行不通了。CDK Pipelines 模块可以自动构建、测试和部署 CDK 应用,而且能自我更新:新增一个 stage 或栈,流水线会自动重新配置并完成部署。AWS 建议把各个 stage 放在不同环境中,这与“每个客户一个账户”的模式正好契合。

学习顺序

先学构造与栈的边界,因为这是日后最难更改的设计决策。接着是环境和 bootstrap,然后是模板的单元测试。CDK Pipelines 放到最后,等你真正需要管理两个或更多客户时再学。

浏览 FDE 招聘岗位时,留意“infrastructure as code”或“deploy into customer environments”这类表述。简历上写一句具体的“一个构造,部署到 N 个环境,配有单元测试”,远比“精通 AWS”有分量。最好的证明是一个恰好做到这一点的公开仓库。

面对第一个客户时,CDK 看起来像是额外负担。到了第二个客户,你就会明白它的价值。

这篇文章对你有帮助吗?

7 个信源
路线图上的下一篇 · 阶段 2: 全栈工程能力还没拿到 staging 权限?Testcontainers 给你真实的 Postgres只要有 Docker,每次测试都有独立的临时数据库和 Redis,拿到权限前就能验证集成代码。