FDE Times 数据在招 FDE 职位 882▼2 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 52在招公司 185支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

分析

选数据网格还是数据编织,看客户的组织架构而非技术栈

网格、编织和中心化数仓各自预设了一种组织方式,预设选错,再好的技术栈也会停滞。

分享微博

要点速览

  • 数据网格首先是组织变革:各业务域拥有自己的数据,把数据当作产品,并共同承担治理责任。
  • 数据编织以技术为主导,不规定数据归谁所有,可以与数据网格并存并为其提供支撑。
  • 只有一个强数据团队、各业务域能力较弱的客户,仍然适合中心化数仓或数据枢纽,其瓶颈正是这个中心团队。
三栏对比中心化数仓/数据枢纽、数据编织和数据网格:每栏有一个图标、对“谁来准备数据”的回答,以及选错时的警示信号。下方是一家零售连锁企业的三步路线图:先建中心枢纽,再加一层编织连接物流遗留系统,最后在销售部试点数据网格。
三种数据架构回答的是关于组织的三个不同问题。合理的路线是从中心枢纽出发,经过数据编织,只在工程师充足的业务域推行数据网格。

Dehghani 在 2020 年那篇奠定数据网格基础的文章里,并没有从工具讲起。她描述的问题与人有关:中心化数据仓库模式要求由一个中心团队清洗、协调并编码所有流入的数据。

这是组织架构的问题,不是数据库的问题。然而,当前线部署工程师(FDE)坐进会议室,客户问“我们要不要做数据网格?”,讨论往往很快转向厂商、工具和云成本。

更好的回答应该从别处入手。网格、编织和中心化数仓并不是同一件事的三个版本。三者各自假设客户公司以不同方式组织起来,假设选错,再好的技术栈也会卡住。

数据网格先改结构,再换工具

AWS 将数据网格定义为一种去中心化的数据管理模式,用于解决棘手的数据共享问题。关键在下一句:数据管理的责任按业务职能或业务域拆分,而不是交给单个团队。

Dehghani 的原文提出了四条原则。第一,数据所有权和架构按业务域分布。第二,把数据当作产品。第三,建设自助服务平台。第四,“联邦计算治理”(federated computational governance):治理由各方联合承担,并通过代码强制执行。

现在,以负责落地的人的身份重读这四条原则。按照 AWS 的说法,每个业务域团队都要用产品思维对待自己提供的数据集,治理也成为整个组织共同承担的责任。

换句话说,销售团队需要有人懂 schema,承诺一定的质量水平,并在其他团队投诉其数据时出面回应。

如果客户没有这样的人,数据网格只是幻灯片上一张好看的图。因此,关于网格的第一个问题永远是“哪些业务域有能力拥有自己的数据?”,而不是“该用哪个数据目录工具?”。

网格没有取消中心团队,只是改变了它的工作

即使业务域人手充足,数据网格也会带来一项容易被低估的负担,而且它就藏在四条原则里。自助服务平台不会自己建起来:必须有人搭建并运维它,供每个业务域使用。

联邦治理同样有成本。责任共担时,各业务域必须商定共同标准,并写成代码来强制执行;每次修改标准,都意味着又要在多个团队之间协调一轮。

由此可见,数据网格是转移负担,而不是消除负担。中心团队不再替所有人清洗数据,转而负责建设平台和制定规则。为客户估算工作量时,从一开始就要把这一项摆上桌面。

数据编织不问数据归谁

IBM 将数据编织描述为一种支持广泛访问数据的架构,并强调它不是一款软件,而是一种设计方法。当厂商想卖给你一套打包好的“数据编织”时,这一点值得记住。

James Serra 在 2021 年的一篇文章中,给出了按组织选择架构时最有用的区分:编织以技术为中心,网格则聚焦于组织变革。他补充说,编织主要解决数据的技术集成,并不规定由谁来做这项工作,也不规定数据归谁所有。

正因为不触动所有权,编织往往更容易获得客户认可:不必说服任何一位部门负责人承担新的责任。IBM 还认为,编织可以与网格并存,而且常常能让网格运转得更好,二者并不互斥。

这一特点同样是编织的局限。如果客户真正的痛点是没有人对数据质量负责,那么集成层再精巧,也只是让所有人更快拿到糟糕的数据。

中心化数仓并未过时

在关于去中心化的种种争论中,人们很容易忘记中心化模式解决了多少问题。按照 Wikipedia 的描述,数据枢纽不只是像数据湖或普通数仓那样存储数据,还负责去重、质量控制、安全管理,并提供一套标准化的查询服务。

对一家只有一个五人数据团队、其他部门大多用 Excel 办公的公司来说,这正是他们需要的。Dehghani 所说的瓶颈,只有当业务域和数据源的数量超出一个中心团队的处理能力时,才会真正让人头疼。

下表按各自回答的组织问题,把三种模式并列比较。“适用情形”一行是根据各模式特点推断出的建议,并非硬性规则。

问题 中心化数仓 / 数据枢纽 数据编织 数据网格
谁来准备数据? 一个中心团队负责清洗、协调和安全 不规定,由组织自定 各业务域团队,把数据集当作产品
治理放在哪里? 集中 不规定由谁负责 由各业务域共担,通过代码强制执行
变革性质 由单一位置提供标准化数据 面向集成与访问的技术设计 组织变革
适用情形 业务域少,有一个强数据团队 数据源多且分散,不愿调整组织 各业务域有人手和能力拥有数据
选错的信号 中心团队成了全公司的排队窗口 访问更快了,但没人对质量负责 业务域里没人承担数据产品负责人角色,或没人运维自助服务平台

设想一家零售连锁企业

假设你被派到一家零售连锁企业,它有三个部门:销售、物流和市场。销售部有自己的工程团队,习惯构建 API。物流部运行在一套遗留系统上,只有一个人懂它的表结构。市场部每周靠手动导出的文件取数。

如果第一天就提议三个部门全部采用数据网格,等于要求物流和市场在无人可用的情况下用产品思维对待数据。项目会卡在讨论“谁负责什么”的那次会议上。

更合理的路径是:先建一个中心枢纽作为统一的标准化节点,再加一层编织式的集成层,在不重写的前提下接入物流遗留系统。然后选销售部作为数据网格的第一个试点业务域,因为只有这里有人能承担这份责任。

这不是妥协。它与 IBM 关于编织和网格可以并存的观点一致,也让每一步都对应到组织架构图上一个真实的团队。

需求调研应以哪些问题开场?

涉及数据时,在敲定架构之前了解客户,应该从人入手,而不是从基础设施入手。

与客户的第一次会谈,可以问四个问题:现在谁在清洗数据?一个新数据需求要排队多久?数字出错时,电话打给谁?是否已有业务域拥有自己的工程师?这四个答案通常足以判断客户处在上表的哪一列。

对想转向 FDE 工作的开发者来说,这是一项值得练习和展示的技能。阅读岗位描述时,留意“work with stakeholders across business units”或“data ownership”这类表述。它们说明这个岗位要求你读懂一个组织,而不只是写数据管道。

一行简历,改前与改后

以上面的零售连锁项目为例。改前是常见写法:“使用工具 X 为一家零售连锁企业构建数据管道。”这一行只能说明你会用某个工具。

改后:“零售连锁企业共三个部门,仅销售部有自有工程师:搭建中心枢纽,通过集成层接入物流遗留系统,在销售部试点数据所有权。”顺序是组织背景、架构决策、理由。

读到第二版的招聘方会看出,你理解这三种架构各自押注的是什么。工具随厂商的季度更替不断变化,但“客户公司里谁愿意为数据负责”这个问题,永远要先回答。

这篇文章对你有帮助吗?

5 个信源
路线图上的下一篇 · 阶段 4: 客户工作Klarna 重回人工客服,暴露了厂商 AI 清单没说的事经得起真实用户考验的用例,要么有人为结果签字,要么有每天可核查的指标。