客户要“实时”?先问数据晚了会出什么问题
先把“实时”换成具体数字,再选能达标的最便宜架构,往往是批处理而非全天候流处理。
要点速览
- 多数“实时”需求,实际要的是每小时或每五分钟更新一次数据。
- 流处理持续运行,数据很少时也在消耗资源。只有降低延迟能带来实际业务价值,才值得建。
- 关键问题是“数据不新鲜会出什么问题?”,而不是“能不能做成流式?”
第二次现场会议上,运营负责人说出一句每个前线部署工程师(FDE)都听过的话:“这个看板必须是实时的。”如果点点头,回去就搭一条流处理数据管道,你就揽下了一套必须全天候运行的系统,而真实需求可能只是每小时刷新一次。
把数据新鲜度判断错,是最不显眼的范围界定失误之一。它不会让演示失败,却会让系统更贵、更难运维。等你离开现场,这份复杂度就落到了客户团队头上。
这里要练的不是工具,而是知道该问哪些问题,把“实时”两个字变成一个数字,再选出能满足它的最便宜架构。
客户口中的“实时”,混着五种东西
第一种是批处理。AWS 将批处理定义为计算机定期完成大批量、重复性数据任务的方式。批处理几乎不需要人工干预,系统按顺序处理大量数据。
批处理还有成本优势。AWS 指出,批处理作业可以利用闲置计算资源运行,例如最高可打 90% 折扣的 Spot 实例。午夜运行的抽取、转换、加载(ETL)作业就是常见的例子。
微批处理本质上仍是批处理,只是跑得更频繁,每几分钟一次。Data Lakehouse Hub 工程博客认为,这种方式保留了流处理的大部分价值,同时和批处理一样简单。它的局限是做不到一秒以内。
第三种是同步通信,比如一次等待返回结果的 API 调用。按 Guru 的定义,同步通信是实时发生的:各方同时在场,并立即响应。用户针对某个具体操作说“实时”时,通常指的就是这个。
第四种是消息队列。AWS 将队列描述为一种服务之间的异步通信方式,用来把繁重处理从主流程中解耦,并对工作进行缓冲或批量处理。异步意味着响应可能稍后才到,它和同步通信的核心区别在于时机。
最后是流处理:数据流入时持续不断地处理。成本就在“持续”二字上。流处理作业日夜运行,在数据稀少的时段也照样消耗资源。TDWI 指出,批处理两次运行之间闲置的计算资源,在流处理架构里始终处于开启状态。
为什么“实时”通常意味着“每小时”
Data Lakehouse Hub 说得很直白:大多数“我们需要实时”的需求,其实是“我们需要每小时更新”或“我们需要每五分钟更新”。客户并没有说谎。对业务人员来说,“实时”往往只是“比我手上这份昨天早上的报表新一点”。
同一来源给出了选择流处理的门槛:只有延迟以秒计、数据过时会造成严重损失时才选它。TDWI 换了个说法:只有当它消除的延迟具有真实业务价值时,流处理的复杂度才说得过去。
这正是 TDWI 建议在选择流处理之前提出的问题。对 FDE 来说,这是这个话题上最有效的需求调研工具,因为它把讨论从技术转向后果,而后果客户比你更清楚。
一段示例对话
设想一家消费品分销商想要“一个实时数据平台”。你不去讨论架构,而是把需求拆成几个用例,对每个用例问同一个问题。
FDE: 区域经理用的库存看板,如果数字晚一个小时,会怎样?
区域经理: 其实没什么影响。大家只在早上和下午早些时候打开它,用来安排车辆。
FDE: 那异常订单告警呢?比如某个经销商下了平时十倍的量?
风控负责人: 这个得快,但风控团队是人工处理的,10 分钟以内就行。
FDE: 司机送货到店、当场收款时的支付状态呢?
运营组长: 司机必须马上知道交易成没成功,才能去下一家。
三个回答,三种截然不同的新鲜度要求。把它们写成一张表,第一份范围界定文档就有了:
| 用例 | 晚到会出什么问题 | 可容忍延迟 | 合理选择 |
|---|---|---|---|
| 库存看板 | 几乎没有影响;用户每天看两次 | 1 小时 | 每小时批处理 |
| 异常订单告警 | 高风险订单处理不及时 | 10 分钟 | 5 分钟微批处理 |
| 支付确认 | 司机干等,交易悬而未决 | 几秒 | 同步 API 调用,繁重处理放进队列 |
回头看这张表,三行都不需要完整的流处理管道。即使最紧急的用例,也只需要一次立即返回结果的同步调用;记账、对账和分析都可以经队列稍后处理。
最初那个“实时平台”需求,最终变成三个小系统,每个都便宜得多,也好运维得多。
在现场自己动手
先列出每个会用到这份数据的决策,而不是每个数据源。同一张表可能服务三个决策,对应三种不同的延迟容忍度。
接着,针对每个决策,去问真正做决策的人:他们什么时候看数字、多久看一次、数字晚了会出什么问题?把回答换算成具体数字,比如“1 小时”“5 分钟”“2 秒”,并请对方书面确认。
然后按以下顺序选出能满足该数字的最简单方案:批处理、微批处理、队列,最后才是流处理。
Data Lakehouse Hub 建议只在理由充分时才升级,所以要把升级条件明确写下来,例如“如果处理不及时的高风险订单占比超过阈值 X,就改用流处理”。
有了这一条,几个月后双方只需看数字就能决定是否升级,不必把整场争论从头再来一遍。
常见错误
最常见的错误是去问采购方,而不是使用者。签合同的人往往想要“实时”,因为听起来现代;每天早上打开看板的人,才知道自己真正需要什么。
第二个错误是让一个紧急用例决定所有部分的架构。一条需要秒级响应的流程,不代表整个平台都得做成流式。把它单独拆出来,其余部分继续用批处理。
第三个错误是忘了交付后的运维成本。持续运行的流处理作业需要有人值班、需要监控,半夜也在消耗资源。如果客户团队从没运维过这类系统,你留给他们的就是一笔债。
面试题“客户要实时”怎么答
这是 FDE 面试前很值得练的一道场景题:“客户说看板必须是实时的,第一周你会做什么?”
好的回答遵循上面的顺序:把需求拆成决策,去问真正的使用者“数字晚了会出什么问题?”,为每个用例定下一个延迟数字,选出能达标的最便宜方案,并说明日后升级到流处理的条件。
最后举一个带数字的例子,比如上面那张三个用例的表,这能说明你既懂成本,也懂业务。
会搭流处理管道是项好技能。但面试官往往记住的,是你转身问客户“晚了会出什么问题?”,并带回一个足够清楚、能据此选对架构的数字的那一刻。
这篇文章对你有帮助吗?
感谢你的反馈!