割接夜凌晨 1 点,谁有权拍板回滚?
冻结写入、最终备份、同步、切换路由,前提是这份备份上线前已做过恢复测试。
要点速览
- 割接是一套固定顺序,不是一个按钮;最终备份同时也是回滚的数据来源。
- 只有在新系统尚未接收真实数据时,回滚才简单。一旦有新交易进来,就需要办法把这些数据写回旧系统。
- 每份方案都需要一名明确的回滚决策人、固定的时间窗口和多次演练。
设想这样一个场景:周五晚上 10 点,客户的旧订单系统还在运行,你花三个月搭好的数据管道已经就绪。这一晚最重要的问题与代码无关:如果凌晨 1 点出了问题,谁来决定回退,又用哪份数据回退?
这一晚叫作割接(cutover)。Microsoft 的 Dynamics 365 实施指南将其定义为从旧系统迁移到新系统的过程,是上线前的最后一步;一份 ERP 术语表则称之为一系列编排严密的活动。
对前线部署工程师(FDE)来说,演示让客户看到系统能做什么;割接则让客户判断,能否放心把系统交给你来运行。
割接的实际含义:一套顺序,而不是一个按钮
Microsoft 指出,割接期间新旧系统都无法使用,窗口通常不超过 48 小时,因此常被称为“割接周末”。窗口这么短,工作顺序就必须清晰。
AWS Prescriptive Guidance 给出了顺序:冻结旧系统写入、做最终备份、执行最终数据同步、切换路由,然后测试。冻结必须放在最前面,确保复制期间旧系统不再接收新交易;否则最终同步会悄无声息地漏掉几笔订单。
最终备份不只是存档。AWS 明确表示,这份备份同样可用于紧急回滚。实践中的教训是:准确记录备份时间,并在割接夜之前做一次恢复测试,确保真正需要时它确实可用。
接下来要在一次性切换和分阶段(金丝雀)切换之间做选择。AWS 认为,分阶段方式更复杂、耗时更长,但通常停机时间更短、回滚更快,因此关键生产系统往往优先采用。
如果客户有数千名用户,可以先迁移一个分支机构或 5% 的流量,再逐步扩大。
并行运行:先让机器比对,再决定信任
要在信任新系统之前检验它,一种办法是让它与旧系统一起处理真实流量。GitHub 的 Scientist 库在代码层面做到了这一点:每次调用时,两个分支以随机顺序运行并比较结果,调用方拿到的仍是旧分支的结果。
数据方面,Stripe 介绍过一套四步在线迁移流程,第一步就是向新旧两张表双写,使两者保持同步。
如果你要用新模型替换一组订单分类规则,这个模式可以直接套用:让模型以影子模式运行,把每一条与旧规则不一致的结果记录下来,在切换日之前逐一复核。
不过并行运行也有局限。DualEntry 面向会计系统编写的 runbook 指南认为,人工并行运行两套系统整整一个月,通常是错误的决定:重复录入让工作量翻倍,而第二份副本最容易出现偏差。
值得记住的规则是:让机器并行运行、自动比对,没有问题;要求客户员工“为了保险”把所有数据录两遍,则不可取。一旦有了足够把握,就果断切换。
只有在新数据进来之前,回滚才简单
许多方案的漏洞就在这里。AWS 指出,割接后新系统一旦接收了真实交易,回滚就会复杂得多,并列出三种选择:fail-forward(向前修复)、双写(应用必须能同时写入新旧数据库),或备份恢复。新系统在真实数据上运行得越久,回退就越难。
AWS 认为,回滚计划需要包含触发检查点、数据处理策略,以及一名指定的联系人,由其决定向前修复还是回滚。Microsoft 同样要求提前确定由谁做出最终的上线/不上线(go/no-go)决定。
AWS 博客上的一篇文章补充了一条时间盒规则:如果在约定窗口内,团队无法清楚说明问题是什么、如何修复,就回滚。
AWS 要求把回滚流程直接写进割接计划,与工作手册和演练放在一起。Microsoft 建议多次进行模拟割接,尽量贴近真实情况,直到确信一切都能顺利运行。
上线夜 runbook 示例
设想一家分销商要把订单接收迁移到你正在部署的新系统。基于 AWS 的顺序,一份精简的 runbook 大致如下:
| 时间 | 任务 | 负责人 | 决策点 |
|---|---|---|---|
| 22:00 | 冻结旧系统写入 | 客户 DBA | 确认不再有新订单进入 |
| 22:15 | 最终备份,记录时间戳 | 客户 DBA | 备份恢复测试成功 |
| 22:45 | 最终数据同步 | FDE | 两侧记录数一致 |
| 23:30 | 路由切换到新系统 | DevOps | 从此刻起新系统接收真实订单 |
| 23:45 | 测试与对账 | FDE + 业务团队 | 时限 60 分钟;到时即回滚 |
| 00:45 | go/no-go 决策 | 客户项目负责人 | 向前修复或回滚 |
最后一列最重要。假设旧系统当天有 12,480 笔订单,新系统只统计到 12,477 笔。少的这三笔订单就是一个触发检查点:要么在约定窗口内找到原因,要么回退。
但用什么回退?从 23:30 路由切换开始,新系统可能已经接收了真实订单,而 22:15 的备份里没有这些订单。
只恢复备份会丢失 23:30 之后进来的所有订单,因此方案必须提前从上述三种数据策略中选定一种,比如在整个测试窗口内同时双写回旧系统。
有一条规则值得写进每一份 runbook:对账清单上的每一项都通过之前,不要宣布上线。在上例中,清单可以包括订单数一致、订单总金额一致,以及随机抽取的 50 条记录在两个系统中完全相同。
把上线夜拖到天亮的五个错误
第一个很常见:五名工程师盯着同一个对不上的数字,每个人都想再花十分钟试一个修复,时限于是形同虚设。
其次是回滚计划写好了却没人跑过,等到真要用时才发现恢复需要三小时,而不是三十分钟。还有一种是忘了路由一旦切换,新系统就已接收真实数据,回滚计划却仍假设什么都没发生。
最后两个是人的问题:让客户员工并行录入数据;以及只因为大家都累了,就在对账完成前宣布上线。
如果你准备转向 FDE 岗位,可以留意职位描述中的“migration”“go-live support”“deployment ownership”等字眼。简历上写一句“编写并协调割接 runbook,在预发环境演练回滚,零数据丢失上线”,比罗列任何框架都更能打动招聘经理。
关于割接的常见问题
割接需要多长时间? 据 Microsoft 介绍,割接窗口通常不超过 48 小时,因此常被称为“割接周末”。这段时间新旧系统都无法使用,需要提前通知客户的用户。
割接和上线有什么区别? 割接是上线前的最后一步,即从旧系统交接到新系统。上线(go-live)是在做出 go/no-go 决定之后,新系统正式开始为用户服务的时刻。
一次性切换还是分阶段切换? AWS 表示,分阶段方式更复杂,但通常停机时间更短、回滚更快。对关键生产系统而言,它一般是更稳妥的选择。
由谁做 go/no-go 决定? Microsoft 建议提前确定由谁做出最终的 go/no-go 决定,AWS 则要求由一名指定联系人在向前修复和回滚之间做决定。在上面的 runbook 示例中,这两个角色都由客户项目负责人承担。
客户也许会忘记你用了哪个模型,但会记得上线那一夜,有没有人能回答“万一出问题怎么办?”
这篇文章对你有帮助吗?
感谢你的反馈!
8 个信源
- Transition to new solutions successfully with the cutover process - Dynamics 365 | Microsoft Learn · 2024-01-30
- What is Cutover? — ERP Glossary | ERP Research
- Cutover stage - AWS Prescriptive Guidance
- Pre-cutover stage - AWS Prescriptive Guidance
- Migration Rollback Strategies: When Your Migration Doesn't Go as Planned · 2026-03-24
- Online migrations at scale · 2017-02-02
- Scientist: Measure Twice, Cut Once · 2016-02-03
- How to Run a Migration Cutover (DualEntry documentation)