# 割接夜凌晨 1 点，谁有权拍板回滚？

> 冻结写入、最终备份、同步、切换路由，前提是这份备份上线前已做过恢复测试。

原文: https://fdetimes.net/zh/guides/go-live-cutover-parallel-run-rollback/

设想这样一个场景：周五晚上 10 点，客户的旧订单系统还在运行，你花三个月搭好的数据管道已经就绪。这一晚最重要的问题与代码无关：如果凌晨 1 点出了问题，谁来决定回退，又用哪份数据回退？

这一晚叫作割接（cutover）。Microsoft 的 Dynamics 365 实施指南将其定义为从旧系统迁移到新系统的过程，是上线前的最后一步；一份 ERP 术语表则称之为一系列编排严密的活动。

对前线部署工程师（FDE）来说，演示让客户看到系统能做什么；割接则让客户判断，能否放心把系统交给你来运行。

## 割接的实际含义：一套顺序，而不是一个按钮

Microsoft 指出，割接期间新旧系统都无法使用，窗口通常不超过 48 小时，因此常被称为“割接周末”。窗口这么短，工作顺序就必须清晰。

AWS Prescriptive Guidance 给出了顺序：冻结旧系统写入、做最终备份、执行最终数据同步、切换路由，然后测试。冻结必须放在最前面，确保复制期间旧系统不再接收新交易；否则最终同步会悄无声息地漏掉几笔订单。

最终备份不只是存档。AWS 明确表示，这份备份同样可用于紧急回滚。实践中的教训是：准确记录备份时间，并在割接夜之前做一次恢复测试，确保真正需要时它确实可用。

接下来要在一次性切换和分阶段（金丝雀）切换之间做选择。AWS 认为，分阶段方式更复杂、耗时更长，但通常停机时间更短、回滚更快，因此关键生产系统往往优先采用。

如果客户有数千名用户，可以先迁移一个分支机构或 5% 的流量，再逐步扩大。

## 并行运行：先让机器比对，再决定信任

要在信任新系统之前检验它，一种办法是让它与旧系统一起处理真实流量。GitHub 的 Scientist 库在代码层面做到了这一点：每次调用时，两个分支以随机顺序运行并比较结果，调用方拿到的仍是旧分支的结果。

数据方面，Stripe 介绍过一套四步在线迁移流程，第一步就是向新旧两张表双写，使两者保持同步。

如果你要用新模型替换一组订单分类规则，这个模式可以直接套用：让模型以影子模式运行，把每一条与旧规则不一致的结果记录下来，在切换日之前逐一复核。

不过并行运行也有局限。DualEntry 面向会计系统编写的 runbook 指南认为，人工并行运行两套系统整整一个月，通常是错误的决定：重复录入让工作量翻倍，而第二份副本最容易出现偏差。

值得记住的规则是：让机器并行运行、自动比对，没有问题；要求客户员工“为了保险”把所有数据录两遍，则不可取。一旦有了足够把握，就果断切换。

## 只有在新数据进来之前，回滚才简单

许多方案的漏洞就在这里。AWS 指出，割接后新系统一旦接收了真实交易，回滚就会复杂得多，并列出三种选择：fail-forward（向前修复）、双写（应用必须能同时写入新旧数据库），或备份恢复。新系统在真实数据上运行得越久，回退就越难。

AWS 认为，回滚计划需要包含触发检查点、数据处理策略，以及一名指定的联系人，由其决定向前修复还是回滚。Microsoft 同样要求提前确定由谁做出最终的上线/不上线（go/no-go）决定。

AWS 博客上的一篇文章补充了一条时间盒规则：如果在约定窗口内，团队无法清楚说明问题是什么、如何修复，就回滚。

**要点:** 从未演练过的回滚计划，只是一纸承诺。

AWS 要求把回滚流程直接写进割接计划，与工作手册和演练放在一起。Microsoft 建议多次进行模拟割接，尽量贴近真实情况，直到确信一切都能顺利运行。

## 上线夜 runbook 示例

设想一家分销商要把订单接收迁移到你正在部署的新系统。基于 AWS 的顺序，一份精简的 runbook 大致如下：

| 时间 | 任务 | 负责人 | 决策点 |
|---|---|---|---|
| 22:00 | 冻结旧系统写入 | 客户 DBA | 确认不再有新订单进入 |
| 22:15 | 最终备份，记录时间戳 | 客户 DBA | 备份恢复测试成功 |
| 22:45 | 最终数据同步 | FDE | 两侧记录数一致 |
| 23:30 | 路由切换到新系统 | DevOps | 从此刻起新系统接收真实订单 |
| 23:45 | 测试与对账 | FDE + 业务团队 | 时限 60 分钟；到时即回滚 |
| 00:45 | go/no-go 决策 | 客户项目负责人 | 向前修复或回滚 |

最后一列最重要。假设旧系统当天有 12,480 笔订单，新系统只统计到 12,477 笔。少的这三笔订单就是一个触发检查点：要么在约定窗口内找到原因，要么回退。

但用什么回退？从 23:30 路由切换开始，新系统可能已经接收了真实订单，而 22:15 的备份里没有这些订单。

只恢复备份会丢失 23:30 之后进来的所有订单，因此方案必须提前从上述三种数据策略中选定一种，比如在整个测试窗口内同时双写回旧系统。

有一条规则值得写进每一份 runbook：对账清单上的每一项都通过之前，不要宣布上线。在上例中，清单可以包括订单数一致、订单总金额一致，以及随机抽取的 50 条记录在两个系统中完全相同。

## 把上线夜拖到天亮的五个错误

第一个很常见：五名工程师盯着同一个对不上的数字，每个人都想再花十分钟试一个修复，时限于是形同虚设。

其次是回滚计划写好了却没人跑过，等到真要用时才发现恢复需要三小时，而不是三十分钟。还有一种是忘了路由一旦切换，新系统就已接收真实数据，回滚计划却仍假设什么都没发生。

最后两个是人的问题：让客户员工并行录入数据；以及只因为大家都累了，就在对账完成前宣布上线。

如果你准备转向 FDE 岗位，可以留意职位描述中的“migration”“go-live support”“deployment ownership”等字眼。简历上写一句“编写并协调割接 runbook，在预发环境演练回滚，零数据丢失上线”，比罗列任何框架都更能打动招聘经理。

## 关于割接的常见问题

**割接需要多长时间？** 据 Microsoft 介绍，割接窗口通常不超过 48 小时，因此常被称为“割接周末”。这段时间新旧系统都无法使用，需要提前通知客户的用户。

**割接和上线有什么区别？** 割接是上线前的最后一步，即从旧系统交接到新系统。上线（go-live）是在做出 go/no-go 决定之后，新系统正式开始为用户服务的时刻。

**一次性切换还是分阶段切换？** AWS 表示，分阶段方式更复杂，但通常停机时间更短、回滚更快。对关键生产系统而言，它一般是更稳妥的选择。

**由谁做 go/no-go 决定？** Microsoft 建议提前确定由谁做出最终的 go/no-go 决定，AWS 则要求由一名指定联系人在向前修复和回滚之间做决定。在上面的 runbook 示例中，这两个角色都由客户项目负责人承担。

客户也许会忘记你用了哪个模型，但会记得上线那一夜，有没有人能回答“万一出问题怎么办？”

**本周动手试试:**

- 选一个你即将部署的系统，用表格写一份割接 runbook，列出每项任务的时间、顺序、负责人和决策点
- 写出三条对账条件，全部通过后才能宣布上线
- 在预发环境做一次 30 分钟的回滚演练，记下恢复实际耗时

## 信源

- [Transition to new solutions successfully with the cutover process - Dynamics 365 | Microsoft Learn](https://learn.microsoft.com/dynamics365/guidance/implementation-guide/prepare-go-live-cutover-strategy)

- [What is Cutover? — ERP Glossary | ERP Research](https://erpresearch.com/glossary/cutover)

- [Cutover stage - AWS Prescriptive Guidance](https://docs.aws.amazon.com/prescriptive-guidance/latest/best-practices-migration-cutover/cutover-stage.html)

- [Pre-cutover stage - AWS Prescriptive Guidance](https://docs.aws.amazon.com/prescriptive-guidance/latest/best-practices-migration-cutover/pre-cutover-stage.html)

- [Migration Rollback Strategies: When Your Migration Doesn't Go as Planned](https://aws.amazon.com/blogs/migration-and-modernization/migration-rollback-strategies-when-your-migration-doesnt-go-as-planned)

- [Online migrations at scale](https://stripe.com/blog/online-migrations)

- [Scientist: Measure Twice, Cut Once](https://github.blog/engineering/infrastructure/scientist/)

- [How to Run a Migration Cutover (DualEntry documentation)](https://docs.dualentry.com/accountants/get-started/migration-cutover-runbook)
