FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

客户要“实时”?先问数据晚了会出什么问题

先把“实时”换成具体数字,再选能达标的最便宜架构,往往是批处理而非全天候流处理。

分享微博

要点速览

  • 多数“实时”需求,实际要的是每小时或每五分钟更新一次数据。
  • 流处理持续运行,数据很少时也在消耗资源。只有降低延迟能带来实际业务价值,才值得建。
  • 关键问题是“数据不新鲜会出什么问题?”,而不是“能不能做成流式?”
信息图:用“数据晚到会出什么问题?”这个问题,把一个实时需求拆成三个用例。库存看板:几乎没有影响,可容忍 1 小时,用每小时批处理。异常订单告警:高风险订单处理不及时,可容忍 10 分钟,用 5 分钟微批处理。支付确认:司机干等、交易悬而未决,可容忍几秒,用同步 API 加队列。下方是选择架构的顺序:批处理、微批处理、队列,最后才是流处理。
问一句“晚了会出什么问题”,就能把“实时”需求变成具体的延迟数字。三个示例用例都不需要完整的流处理管道。

第二次现场会议上,运营负责人说出一句每个前线部署工程师(FDE)都听过的话:“这个看板必须是实时的。”如果点点头,回去就搭一条流处理数据管道,你就揽下了一套必须全天候运行的系统,而真实需求可能只是每小时刷新一次。

把数据新鲜度判断错,是最不显眼的范围界定失误之一。它不会让演示失败,却会让系统更贵、更难运维。等你离开现场,这份复杂度就落到了客户团队头上。

这里要练的不是工具,而是知道该问哪些问题,把“实时”两个字变成一个数字,再选出能满足它的最便宜架构。

客户口中的“实时”,混着五种东西

第一种是批处理。AWS 将批处理定义为计算机定期完成大批量、重复性数据任务的方式。批处理几乎不需要人工干预,系统按顺序处理大量数据。

批处理还有成本优势。AWS 指出,批处理作业可以利用闲置计算资源运行,例如最高可打 90% 折扣的 Spot 实例。午夜运行的抽取、转换、加载(ETL)作业就是常见的例子。

微批处理本质上仍是批处理,只是跑得更频繁,每几分钟一次。Data Lakehouse Hub 工程博客认为,这种方式保留了流处理的大部分价值,同时和批处理一样简单。它的局限是做不到一秒以内。

第三种是同步通信,比如一次等待返回结果的 API 调用。按 Guru 的定义,同步通信是实时发生的:各方同时在场,并立即响应。用户针对某个具体操作说“实时”时,通常指的就是这个。

第四种是消息队列。AWS 将队列描述为一种服务之间的异步通信方式,用来把繁重处理从主流程中解耦,并对工作进行缓冲或批量处理。异步意味着响应可能稍后才到,它和同步通信的核心区别在于时机。

最后是流处理:数据流入时持续不断地处理。成本就在“持续”二字上。流处理作业日夜运行,在数据稀少的时段也照样消耗资源。TDWI 指出,批处理两次运行之间闲置的计算资源,在流处理架构里始终处于开启状态。

为什么“实时”通常意味着“每小时”

Data Lakehouse Hub 说得很直白:大多数“我们需要实时”的需求,其实是“我们需要每小时更新”或“我们需要每五分钟更新”。客户并没有说谎。对业务人员来说,“实时”往往只是“比我手上这份昨天早上的报表新一点”。

同一来源给出了选择流处理的门槛:只有延迟以秒计、数据过时会造成严重损失时才选它。TDWI 换了个说法:只有当它消除的延迟具有真实业务价值时,流处理的复杂度才说得过去。

这正是 TDWI 建议在选择流处理之前提出的问题。对 FDE 来说,这是这个话题上最有效的需求调研工具,因为它把讨论从技术转向后果,而后果客户比你更清楚。

一段示例对话

设想一家消费品分销商想要“一个实时数据平台”。你不去讨论架构,而是把需求拆成几个用例,对每个用例问同一个问题。

FDE: 区域经理用的库存看板,如果数字晚一个小时,会怎样?

区域经理: 其实没什么影响。大家只在早上和下午早些时候打开它,用来安排车辆。

FDE: 那异常订单告警呢?比如某个经销商下了平时十倍的量?

风控负责人: 这个得快,但风控团队是人工处理的,10 分钟以内就行。

FDE: 司机送货到店、当场收款时的支付状态呢?

运营组长: 司机必须马上知道交易成没成功,才能去下一家。

三个回答,三种截然不同的新鲜度要求。把它们写成一张表,第一份范围界定文档就有了:

用例 晚到会出什么问题 可容忍延迟 合理选择
库存看板 几乎没有影响;用户每天看两次 1 小时 每小时批处理
异常订单告警 高风险订单处理不及时 10 分钟 5 分钟微批处理
支付确认 司机干等,交易悬而未决 几秒 同步 API 调用,繁重处理放进队列

回头看这张表,三行都不需要完整的流处理管道。即使最紧急的用例,也只需要一次立即返回结果的同步调用;记账、对账和分析都可以经队列稍后处理。

最初那个“实时平台”需求,最终变成三个小系统,每个都便宜得多,也好运维得多。

在现场自己动手

先列出每个会用到这份数据的决策,而不是每个数据源。同一张表可能服务三个决策,对应三种不同的延迟容忍度。

接着,针对每个决策,去问真正做决策的人:他们什么时候看数字、多久看一次、数字晚了会出什么问题?把回答换算成具体数字,比如“1 小时”“5 分钟”“2 秒”,并请对方书面确认。

然后按以下顺序选出能满足该数字的最简单方案:批处理、微批处理、队列,最后才是流处理。

Data Lakehouse Hub 建议只在理由充分时才升级,所以要把升级条件明确写下来,例如“如果处理不及时的高风险订单占比超过阈值 X,就改用流处理”。

有了这一条,几个月后双方只需看数字就能决定是否升级,不必把整场争论从头再来一遍。

常见错误

最常见的错误是去问采购方,而不是使用者。签合同的人往往想要“实时”,因为听起来现代;每天早上打开看板的人,才知道自己真正需要什么。

第二个错误是让一个紧急用例决定所有部分的架构。一条需要秒级响应的流程,不代表整个平台都得做成流式。把它单独拆出来,其余部分继续用批处理。

第三个错误是忘了交付后的运维成本。持续运行的流处理作业需要有人值班、需要监控,半夜也在消耗资源。如果客户团队从没运维过这类系统,你留给他们的就是一笔债。

面试题“客户要实时”怎么答

这是 FDE 面试前很值得练的一道场景题:“客户说看板必须是实时的,第一周你会做什么?”

好的回答遵循上面的顺序:把需求拆成决策,去问真正的使用者“数字晚了会出什么问题?”,为每个用例定下一个延迟数字,选出能达标的最便宜方案,并说明日后升级到流处理的条件。

最后举一个带数字的例子,比如上面那张三个用例的表,这能说明你既懂成本,也懂业务。

会搭流处理管道是项好技能。但面试官往往记住的,是你转身问客户“晚了会出什么问题?”,并带回一个足够清楚、能据此选对架构的数字的那一刻。

这篇文章对你有帮助吗?

5 个信源
路线图上的下一篇 · 阶段 2: 全栈工程能力Agent 答错了,问题可能出在数据而非提示词沿五个阶段从生成到服务追踪数据,FDE 需要的数据工程能力,到这一步就够了。