从 Git 删掉的资源,Argo CD 默认不会删
默认先标记漂移、再按授权修复,正适合在多个客户集群间工作的前线部署工程师(FDE)。
要点速览
- Argo CD 以 Git 为唯一可信来源。控制器持续比对实际状态与 Git,两者不一致时把应用标记为 OutOfSync。
- 每个集群通过一个带标签的 Secret 注册。使用 cluster 生成器的 ApplicationSet 会自动为每个集群创建 Application,新加入的集群也不例外。
- 默认自动同步很保守:不 prune,也不 self-heal。是否开启,要和客户一起决定。
在 Argo CD 中开启自动同步,再从 Git 中删掉一个资源,只要没有特意开启 prune,这个资源就会一直留在客户集群上。有人用 kubectl 手动修改生产环境,只要没有开启 self-heal,也不会触发自动同步。
这两个默认设置体现了 Argo CD 的设计思路:先报告漂移,得到允许后才去修复。
对前线部署工程师(FDE)来说,这正是想要的行为。FDE 部署的基础设施不归自己所有,通常分散在多个集群上,还有很多人同时在动。所以在打开任何自动化之前,必须先弄清这个工具会做什么、不会做什么。
Git 是真相,集群只是副本
官方文档把 Argo CD 定义为面向 Kubernetes 的声明式 GitOps 持续交付工具。Git 仓库保存应用的期望状态。其核心是 application controller:它持续比对实际状态与 Git 中的目标状态,两者不一致时把应用标记为 OutOfSync,配置允许的话还能修正漂移。
与控制器并列的是 API server,这是一个 gRPC/REST 服务,为 Web UI、CLI 和 CI/CD 系统提供接口,同时管理仓库凭据和集群凭据。
FDE 什么时候该用它?
设想一个客户有四个集群:dev、staging,以及分布在两个区域的两个生产集群。同一个推理服务要部署到全部四个集群。如果靠脚本和 kubectl,三周后没人能确定哪个集群跑的是哪个版本。
需要 Argo CD 的信号很明确:两个及以上集群,多人拥有写权限,客户想知道谁改了什么。所有变更都走 Git,提交历史就成了变更日志;OutOfSync 视图则显示现实在哪里偏离了这份日志。
如果客户的安全团队问到成熟度,简短的回答是:Argo 于 2020 年 3 月 26 日加入 CNCF,2022 年 12 月 6 日达到 Graduated 级别。
最小示例:加第五个集群,不改清单
第一步是以声明方式注册集群。每个集群对应一个 Kubernetes Secret,文档要求这个 Secret 带上标签 argocd.argoproj.io/secret-type: cluster。最小示意如下:
apiVersion: v1
kind: Secret
metadata:
name: prod-eu
namespace: argocd
labels:
argocd.argoproj.io/secret-type: cluster
stringData:
name: prod-eu
server: https://<cluster-api-url>
config: |
{ "<credentials>": "..." }
集群凭据和仓库凭据一样存放在 Secret 中,所以不要把这个文件以明文提交到 Git。要么提交前先加密,要么让凭据不进仓库,只通过客户批准的安全流程加载到运行 Argo CD 的集群。
第二步是编写 ApplicationSet。这个功能让一份清单面向多个集群。cluster 生成器从 Argo CD 中声明的集群推导参数,四个 Secret 就生成四个 Application:
apiVersion: argoproj.io/v1alpha1
kind: ApplicationSet
metadata:
name: inference
namespace: argocd
spec:
generators:
- clusters: {}
template:
metadata:
name: 'inference-{{name}}'
spec:
project: default
source:
repoURL: https://git.example.com/customer/deploy.git
targetRevision: main
path: inference
destination:
server: '{{server}}'
namespace: inference
syncPolicy:
automated: {}
automated: {} 这一行开启了自动同步,并沿用开头说的两个保守默认值:不 prune,不 self-heal。现在客户新开了第五个集群。只需加一个带标签的 Secret,ApplicationSet 一行不改,新集群就会自动拿到部署。
这就是文档推荐用 ApplicationSet 做集群初始化的原因。另一种做法是 app-of-apps,但文档明确说明它是仅限管理员使用的工具。如果你在客户的 Argo CD 上没有管理员权限,选择基本已经替你做好了。
两个需要和客户敲定的默认值
回到生产集群。假设凌晨 2 点,值班工程师为了扛住负载,用 kubectl 把副本数从 3 调到 6。控制器发现集群偏离了 Git,报告 OutOfSync;但 self-heal 关闭时,集群上的变更不会触发自动同步,于是 6 个副本保留下来。
事情还没完。Git 里写的仍是 3 个副本,按照 GitOps 的逻辑,下一次从 Git 同步时(比如有人合并了一个无关的提交,或者点了 Sync),目标状态会被重新应用,集群又回到 3 个副本。
这可能发生在负载仍然很高的时候。如果开了 self-heal,集群会立即被拉回 3 个副本,6 个副本几乎撑不了多久。
所以凌晨 2 点正确的修复方式是提交一次修改 Git 中副本数的 commit,而不是执行 kubectl 命令。prune 也有类似的取舍:开启后,从 Git 删除的 ConfigMap 会从集群上消失;关闭时,这个 ConfigMap 会作为配置残留一直留着。
这两个开关不该由你一个人决定。先把两者都关闭,观察 OutOfSync 列表大约一周,再带着这些数据去和平台团队开会。另外有一点要直说:Argo CD 管理着它所部署的每个集群的凭据,因此运行 Argo CD 的集群必须作为整个系统中最敏感的资产来保护。
常见错误有哪些?
最常见的错误是以为从 Git 删除文件,资源就会从集群上消失。在默认自动同步下,它还在。告诉客户某样东西已经“移除”之前,先检查真实集群,或者有意识地开启 prune。
第二个错误是以为 Argo CD 会自动回滚手动修改。没有 self-heal,它只会报告 OutOfSync。如果没人盯着这个视图,漂移可能会存在好几周,直到一次意外的同步把它抹掉。
第三个错误是为了“彻底 GitOps”,把带明文凭据的集群 Secret 提交到仓库。最后一个是在没有管理员权限时选了 app-of-apps,结果项目做到一半卡在等权限上。
该按什么顺序学?
先在一个集群上部署一个 Application,亲眼看到比对循环和 OutOfSync 状态。接着学自动同步的各个开关,然后是用 Secret 注册集群,最后是带 cluster 生成器的 ApplicationSet。每一步只引入一个新概念。
看 FDE 岗位描述时,留意 GitOps、Argo CD 和多集群(multi-cluster)这些关键词。简历上别只写“使用过 Argo CD”,要写真实数字:管理多少个集群,新增一个集群如何从许多手动步骤变成只需一个 Secret。
在客户现场,没人记得你部署得多快。大家记住的是,你不用 SSH 登录任何机器,就能回答“生产环境上跑的是什么?”
这篇文章对你有帮助吗?
感谢你的反馈!