# 从 Git 删掉的资源，Argo CD 默认不会删

> 默认先标记漂移、再按授权修复，正适合在多个客户集群间工作的前线部署工程师（FDE）。

原文: https://fdetimes.net/zh/tools/argo-cd-multi-cluster-gitops-fde/

在 Argo CD 中开启自动同步，再从 Git 中删掉一个资源，只要没有特意开启 prune，这个资源就会一直留在客户集群上。有人用 kubectl 手动修改生产环境，只要没有开启 self-heal，也不会触发自动同步。

这两个默认设置体现了 Argo CD 的设计思路：先报告漂移，得到允许后才去修复。

对前线部署工程师（FDE）来说，这正是想要的行为。FDE 部署的基础设施不归自己所有，通常分散在多个集群上，还有很多人同时在动。所以在打开任何自动化之前，必须先弄清这个工具会做什么、不会做什么。

## Git 是真相，集群只是副本

官方文档把 Argo CD 定义为面向 Kubernetes 的声明式 GitOps 持续交付工具。Git 仓库保存应用的期望状态。其核心是 application controller：它持续比对实际状态与 Git 中的目标状态，两者不一致时把应用标记为 OutOfSync，配置允许的话还能修正漂移。

与控制器并列的是 API server，这是一个 gRPC/REST 服务，为 Web UI、CLI 和 CI/CD 系统提供接口，同时管理仓库凭据和集群凭据。

## FDE 什么时候该用它？

设想一个客户有四个集群：dev、staging，以及分布在两个区域的两个生产集群。同一个推理服务要部署到全部四个集群。如果靠脚本和 kubectl，三周后没人能确定哪个集群跑的是哪个版本。

需要 Argo CD 的信号很明确：两个及以上集群，多人拥有写权限，客户想知道谁改了什么。所有变更都走 Git，提交历史就成了变更日志；OutOfSync 视图则显示现实在哪里偏离了这份日志。

如果客户的安全团队问到成熟度，简短的回答是：Argo 于 2020 年 3 月 26 日加入 CNCF，2022 年 12 月 6 日达到 Graduated 级别。

## 最小示例：加第五个集群，不改清单

第一步是以声明方式注册集群。每个集群对应一个 Kubernetes Secret，文档要求这个 Secret 带上标签 `argocd.argoproj.io/secret-type: cluster`。最小示意如下：

```yaml
apiVersion: v1
kind: Secret
metadata:
  name: prod-eu
  namespace: argocd
  labels:
    argocd.argoproj.io/secret-type: cluster
stringData:
  name: prod-eu
  server: https://<cluster-api-url>
  config: |
    { "<credentials>": "..." }
```

集群凭据和仓库凭据一样存放在 Secret 中，所以不要把这个文件以明文提交到 Git。要么提交前先加密，要么让凭据不进仓库，只通过客户批准的安全流程加载到运行 Argo CD 的集群。

第二步是编写 ApplicationSet。这个功能让一份清单面向多个集群。cluster 生成器从 Argo CD 中声明的集群推导参数，四个 Secret 就生成四个 Application：

```yaml
apiVersion: argoproj.io/v1alpha1
kind: ApplicationSet
metadata:
  name: inference
  namespace: argocd
spec:
  generators:
    - clusters: {}
  template:
    metadata:
      name: 'inference-{{name}}'
    spec:
      project: default
      source:
        repoURL: https://git.example.com/customer/deploy.git
        targetRevision: main
        path: inference
      destination:
        server: '{{server}}'
        namespace: inference
      syncPolicy:
        automated: {}
```

`automated: {}` 这一行开启了自动同步，并沿用开头说的两个保守默认值：不 prune，不 self-heal。现在客户新开了第五个集群。只需加一个带标签的 Secret，ApplicationSet 一行不改，新集群就会自动拿到部署。

这就是文档推荐用 ApplicationSet 做集群初始化的原因。另一种做法是 app-of-apps，但文档明确说明它是仅限管理员使用的工具。如果你在客户的 Argo CD 上没有管理员权限，选择基本已经替你做好了。

**要点:** 值得信任的部署工具，会告诉你集群在哪里偏离了 Git。

## 两个需要和客户敲定的默认值

回到生产集群。假设凌晨 2 点，值班工程师为了扛住负载，用 kubectl 把副本数从 3 调到 6。控制器发现集群偏离了 Git，报告 OutOfSync；但 self-heal 关闭时，集群上的变更不会触发自动同步，于是 6 个副本保留下来。

事情还没完。Git 里写的仍是 3 个副本，按照 GitOps 的逻辑，下一次从 Git 同步时（比如有人合并了一个无关的提交，或者点了 Sync），目标状态会被重新应用，集群又回到 3 个副本。

这可能发生在负载仍然很高的时候。如果开了 self-heal，集群会立即被拉回 3 个副本，6 个副本几乎撑不了多久。

所以凌晨 2 点正确的修复方式是提交一次修改 Git 中副本数的 commit，而不是执行 kubectl 命令。prune 也有类似的取舍：开启后，从 Git 删除的 ConfigMap 会从集群上消失；关闭时，这个 ConfigMap 会作为配置残留一直留着。

这两个开关不该由你一个人决定。先把两者都关闭，观察 OutOfSync 列表大约一周，再带着这些数据去和平台团队开会。另外有一点要直说：Argo CD 管理着它所部署的每个集群的凭据，因此运行 Argo CD 的集群必须作为整个系统中最敏感的资产来保护。

## 常见错误有哪些？

最常见的错误是以为从 Git 删除文件，资源就会从集群上消失。在默认自动同步下，它还在。告诉客户某样东西已经“移除”之前，先检查真实集群，或者有意识地开启 prune。

第二个错误是以为 Argo CD 会自动回滚手动修改。没有 self-heal，它只会报告 OutOfSync。如果没人盯着这个视图，漂移可能会存在好几周，直到一次意外的同步把它抹掉。

第三个错误是为了“彻底 GitOps”，把带明文凭据的集群 Secret 提交到仓库。最后一个是在没有管理员权限时选了 app-of-apps，结果项目做到一半卡在等权限上。

## 该按什么顺序学？

先在一个集群上部署一个 Application，亲眼看到比对循环和 OutOfSync 状态。接着学自动同步的各个开关，然后是用 Secret 注册集群，最后是带 cluster 生成器的 ApplicationSet。每一步只引入一个新概念。

看 FDE 岗位描述时，留意 GitOps、Argo CD 和多集群（multi-cluster）这些关键词。简历上别只写“使用过 Argo CD”，要写真实数字：管理多少个集群，新增一个集群如何从许多手动步骤变成只需一个 Secret。

在客户现场，没人记得你部署得多快。大家记住的是，你不用 SSH 登录任何机器，就能回答“生产环境上跑的是什么？”

**本周动手试试:**

- 在本地启动两个 kind 集群，用带 cluster 标签的 Secret 把两者都注册到 Argo CD，再写一个带 cluster 生成器的 ApplicationSet，把同一个应用部署到两个集群
- 开启自动同步，但保持 prune 和 self-heal 关闭。从 Git 删除一个文件，用 kubectl 手动修改副本数，记下 Argo CD 报告了什么。然后依次开启每个开关，对比结果
- 为与客户平台团队的会议准备一页简报：谁拥有 Argo CD 管理员权限，集群凭据在哪里加密，生产环境是否开启 prune 和 self-heal

## 信源

- [Overview - Argo CD - Declarative GitOps CD for Kubernetes](https://argo-cd.readthedocs.io/en/stable/)

- [Argo - Cloud Native Computing Foundation](https://www.cncf.io/projects/argo/)

- [Architectural Overview - Argo CD](https://argo-cd.readthedocs.io/en/stable/operator-manual/architecture/)

- [Declarative Setup - Argo CD](https://argo-cd.readthedocs.io/en/stable/operator-manual/declarative-setup/)

- [ApplicationSet - Argo CD](https://argo-cd.readthedocs.io/en/stable/operator-manual/applicationset/)

- [Cluster Bootstrapping - Argo CD](https://argo-cd.readthedocs.io/en/stable/operator-manual/cluster-bootstrapping/)

- [Automated Sync Policy - Argo CD](https://argo-cd.readthedocs.io/en/stable/user-guide/auto_sync/)
