FDE Times 数据在招 FDE 职位 882▼2 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 52在招公司 185支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

工具

从 Git 删掉的资源,Argo CD 默认不会删

默认先标记漂移、再按授权修复,正适合在多个客户集群间工作的前线部署工程师(FDE)。

分享微博

要点速览

  • Argo CD 以 Git 为唯一可信来源。控制器持续比对实际状态与 Git,两者不一致时把应用标记为 OutOfSync。
  • 每个集群通过一个带标签的 Secret 注册。使用 cluster 生成器的 ApplicationSet 会自动为每个集群创建 Application,新加入的集群也不例外。
  • 默认自动同步很保守:不 prune,也不 self-heal。是否开启,要和客户一起决定。
一个 2×2 矩阵,两条轴分别是 Argo CD 自动同步的 prune 开关(关或开)和 self-heal 开关(关或开)。高亮的格子是两个开关都关闭的情况:这是默认设置,Argo CD 只报告 OutOfSync。只开 prune 时,从 Git 删除的资源也会从集群删除;只开 self-heal 时,用 kubectl 做的手动修改会被回滚到与 Git 一致;两者都开时,Argo CD 会清除多余配置并回滚手动修改,使集群与 Git 一致。
默认自动同步下,Argo CD 既不 prune 也不 self-heal:先标记漂移,得到允许才修正。文章建议两个开关先保持关闭约一周,再与客户平台团队商定设置。

在 Argo CD 中开启自动同步,再从 Git 中删掉一个资源,只要没有特意开启 prune,这个资源就会一直留在客户集群上。有人用 kubectl 手动修改生产环境,只要没有开启 self-heal,也不会触发自动同步。

这两个默认设置体现了 Argo CD 的设计思路:先报告漂移,得到允许后才去修复。

对前线部署工程师(FDE)来说,这正是想要的行为。FDE 部署的基础设施不归自己所有,通常分散在多个集群上,还有很多人同时在动。所以在打开任何自动化之前,必须先弄清这个工具会做什么、不会做什么。

Git 是真相,集群只是副本

官方文档把 Argo CD 定义为面向 Kubernetes 的声明式 GitOps 持续交付工具。Git 仓库保存应用的期望状态。其核心是 application controller:它持续比对实际状态与 Git 中的目标状态,两者不一致时把应用标记为 OutOfSync,配置允许的话还能修正漂移。

与控制器并列的是 API server,这是一个 gRPC/REST 服务,为 Web UI、CLI 和 CI/CD 系统提供接口,同时管理仓库凭据和集群凭据。

FDE 什么时候该用它?

设想一个客户有四个集群:dev、staging,以及分布在两个区域的两个生产集群。同一个推理服务要部署到全部四个集群。如果靠脚本和 kubectl,三周后没人能确定哪个集群跑的是哪个版本。

需要 Argo CD 的信号很明确:两个及以上集群,多人拥有写权限,客户想知道谁改了什么。所有变更都走 Git,提交历史就成了变更日志;OutOfSync 视图则显示现实在哪里偏离了这份日志。

如果客户的安全团队问到成熟度,简短的回答是:Argo 于 2020 年 3 月 26 日加入 CNCF,2022 年 12 月 6 日达到 Graduated 级别。

最小示例:加第五个集群,不改清单

第一步是以声明方式注册集群。每个集群对应一个 Kubernetes Secret,文档要求这个 Secret 带上标签 argocd.argoproj.io/secret-type: cluster。最小示意如下:

apiVersion: v1
kind: Secret
metadata:
  name: prod-eu
  namespace: argocd
  labels:
    argocd.argoproj.io/secret-type: cluster
stringData:
  name: prod-eu
  server: https://<cluster-api-url>
  config: |
    { "<credentials>": "..." }

集群凭据和仓库凭据一样存放在 Secret 中,所以不要把这个文件以明文提交到 Git。要么提交前先加密,要么让凭据不进仓库,只通过客户批准的安全流程加载到运行 Argo CD 的集群。

第二步是编写 ApplicationSet。这个功能让一份清单面向多个集群。cluster 生成器从 Argo CD 中声明的集群推导参数,四个 Secret 就生成四个 Application:

apiVersion: argoproj.io/v1alpha1
kind: ApplicationSet
metadata:
  name: inference
  namespace: argocd
spec:
  generators:
    - clusters: {}
  template:
    metadata:
      name: 'inference-{{name}}'
    spec:
      project: default
      source:
        repoURL: https://git.example.com/customer/deploy.git
        targetRevision: main
        path: inference
      destination:
        server: '{{server}}'
        namespace: inference
      syncPolicy:
        automated: {}

automated: {} 这一行开启了自动同步,并沿用开头说的两个保守默认值:不 prune,不 self-heal。现在客户新开了第五个集群。只需加一个带标签的 Secret,ApplicationSet 一行不改,新集群就会自动拿到部署。

这就是文档推荐用 ApplicationSet 做集群初始化的原因。另一种做法是 app-of-apps,但文档明确说明它是仅限管理员使用的工具。如果你在客户的 Argo CD 上没有管理员权限,选择基本已经替你做好了。

两个需要和客户敲定的默认值

回到生产集群。假设凌晨 2 点,值班工程师为了扛住负载,用 kubectl 把副本数从 3 调到 6。控制器发现集群偏离了 Git,报告 OutOfSync;但 self-heal 关闭时,集群上的变更不会触发自动同步,于是 6 个副本保留下来。

事情还没完。Git 里写的仍是 3 个副本,按照 GitOps 的逻辑,下一次从 Git 同步时(比如有人合并了一个无关的提交,或者点了 Sync),目标状态会被重新应用,集群又回到 3 个副本。

这可能发生在负载仍然很高的时候。如果开了 self-heal,集群会立即被拉回 3 个副本,6 个副本几乎撑不了多久。

所以凌晨 2 点正确的修复方式是提交一次修改 Git 中副本数的 commit,而不是执行 kubectl 命令。prune 也有类似的取舍:开启后,从 Git 删除的 ConfigMap 会从集群上消失;关闭时,这个 ConfigMap 会作为配置残留一直留着。

这两个开关不该由你一个人决定。先把两者都关闭,观察 OutOfSync 列表大约一周,再带着这些数据去和平台团队开会。另外有一点要直说:Argo CD 管理着它所部署的每个集群的凭据,因此运行 Argo CD 的集群必须作为整个系统中最敏感的资产来保护。

常见错误有哪些?

最常见的错误是以为从 Git 删除文件,资源就会从集群上消失。在默认自动同步下,它还在。告诉客户某样东西已经“移除”之前,先检查真实集群,或者有意识地开启 prune。

第二个错误是以为 Argo CD 会自动回滚手动修改。没有 self-heal,它只会报告 OutOfSync。如果没人盯着这个视图,漂移可能会存在好几周,直到一次意外的同步把它抹掉。

第三个错误是为了“彻底 GitOps”,把带明文凭据的集群 Secret 提交到仓库。最后一个是在没有管理员权限时选了 app-of-apps,结果项目做到一半卡在等权限上。

该按什么顺序学?

先在一个集群上部署一个 Application,亲眼看到比对循环和 OutOfSync 状态。接着学自动同步的各个开关,然后是用 Secret 注册集群,最后是带 cluster 生成器的 ApplicationSet。每一步只引入一个新概念。

看 FDE 岗位描述时,留意 GitOps、Argo CD 和多集群(multi-cluster)这些关键词。简历上别只写“使用过 Argo CD”,要写真实数字:管理多少个集群,新增一个集群如何从许多手动步骤变成只需一个 Secret。

在客户现场,没人记得你部署得多快。大家记住的是,你不用 SSH 登录任何机器,就能回答“生产环境上跑的是什么?”

这篇文章对你有帮助吗?

7 个信源
路线图上的下一篇 · 阶段 5: 部署上线今晚就能在笔记本上跑起来的工厂 SCADA 系统Ignition 试用版功能完整,只是每两小时要重置一次,FDE 可借它在首次会议前摸清工厂。