选数据网格还是数据编织,看客户的组织架构而非技术栈
网格、编织和中心化数仓各自预设了一种组织方式,预设选错,再好的技术栈也会停滞。
要点速览
- 数据网格首先是组织变革:各业务域拥有自己的数据,把数据当作产品,并共同承担治理责任。
- 数据编织以技术为主导,不规定数据归谁所有,可以与数据网格并存并为其提供支撑。
- 只有一个强数据团队、各业务域能力较弱的客户,仍然适合中心化数仓或数据枢纽,其瓶颈正是这个中心团队。
Dehghani 在 2020 年那篇奠定数据网格基础的文章里,并没有从工具讲起。她描述的问题与人有关:中心化数据仓库模式要求由一个中心团队清洗、协调并编码所有流入的数据。
这是组织架构的问题,不是数据库的问题。然而,当前线部署工程师(FDE)坐进会议室,客户问“我们要不要做数据网格?”,讨论往往很快转向厂商、工具和云成本。
更好的回答应该从别处入手。网格、编织和中心化数仓并不是同一件事的三个版本。三者各自假设客户公司以不同方式组织起来,假设选错,再好的技术栈也会卡住。
数据网格先改结构,再换工具
AWS 将数据网格定义为一种去中心化的数据管理模式,用于解决棘手的数据共享问题。关键在下一句:数据管理的责任按业务职能或业务域拆分,而不是交给单个团队。
Dehghani 的原文提出了四条原则。第一,数据所有权和架构按业务域分布。第二,把数据当作产品。第三,建设自助服务平台。第四,“联邦计算治理”(federated computational governance):治理由各方联合承担,并通过代码强制执行。
现在,以负责落地的人的身份重读这四条原则。按照 AWS 的说法,每个业务域团队都要用产品思维对待自己提供的数据集,治理也成为整个组织共同承担的责任。
换句话说,销售团队需要有人懂 schema,承诺一定的质量水平,并在其他团队投诉其数据时出面回应。
如果客户没有这样的人,数据网格只是幻灯片上一张好看的图。因此,关于网格的第一个问题永远是“哪些业务域有能力拥有自己的数据?”,而不是“该用哪个数据目录工具?”。
网格没有取消中心团队,只是改变了它的工作
即使业务域人手充足,数据网格也会带来一项容易被低估的负担,而且它就藏在四条原则里。自助服务平台不会自己建起来:必须有人搭建并运维它,供每个业务域使用。
联邦治理同样有成本。责任共担时,各业务域必须商定共同标准,并写成代码来强制执行;每次修改标准,都意味着又要在多个团队之间协调一轮。
由此可见,数据网格是转移负担,而不是消除负担。中心团队不再替所有人清洗数据,转而负责建设平台和制定规则。为客户估算工作量时,从一开始就要把这一项摆上桌面。
数据编织不问数据归谁
IBM 将数据编织描述为一种支持广泛访问数据的架构,并强调它不是一款软件,而是一种设计方法。当厂商想卖给你一套打包好的“数据编织”时,这一点值得记住。
James Serra 在 2021 年的一篇文章中,给出了按组织选择架构时最有用的区分:编织以技术为中心,网格则聚焦于组织变革。他补充说,编织主要解决数据的技术集成,并不规定由谁来做这项工作,也不规定数据归谁所有。
正因为不触动所有权,编织往往更容易获得客户认可:不必说服任何一位部门负责人承担新的责任。IBM 还认为,编织可以与网格并存,而且常常能让网格运转得更好,二者并不互斥。
这一特点同样是编织的局限。如果客户真正的痛点是没有人对数据质量负责,那么集成层再精巧,也只是让所有人更快拿到糟糕的数据。
中心化数仓并未过时
在关于去中心化的种种争论中,人们很容易忘记中心化模式解决了多少问题。按照 Wikipedia 的描述,数据枢纽不只是像数据湖或普通数仓那样存储数据,还负责去重、质量控制、安全管理,并提供一套标准化的查询服务。
对一家只有一个五人数据团队、其他部门大多用 Excel 办公的公司来说,这正是他们需要的。Dehghani 所说的瓶颈,只有当业务域和数据源的数量超出一个中心团队的处理能力时,才会真正让人头疼。
下表按各自回答的组织问题,把三种模式并列比较。“适用情形”一行是根据各模式特点推断出的建议,并非硬性规则。
| 问题 | 中心化数仓 / 数据枢纽 | 数据编织 | 数据网格 |
|---|---|---|---|
| 谁来准备数据? | 一个中心团队负责清洗、协调和安全 | 不规定,由组织自定 | 各业务域团队,把数据集当作产品 |
| 治理放在哪里? | 集中 | 不规定由谁负责 | 由各业务域共担,通过代码强制执行 |
| 变革性质 | 由单一位置提供标准化数据 | 面向集成与访问的技术设计 | 组织变革 |
| 适用情形 | 业务域少,有一个强数据团队 | 数据源多且分散,不愿调整组织 | 各业务域有人手和能力拥有数据 |
| 选错的信号 | 中心团队成了全公司的排队窗口 | 访问更快了,但没人对质量负责 | 业务域里没人承担数据产品负责人角色,或没人运维自助服务平台 |
设想一家零售连锁企业
假设你被派到一家零售连锁企业,它有三个部门:销售、物流和市场。销售部有自己的工程团队,习惯构建 API。物流部运行在一套遗留系统上,只有一个人懂它的表结构。市场部每周靠手动导出的文件取数。
如果第一天就提议三个部门全部采用数据网格,等于要求物流和市场在无人可用的情况下用产品思维对待数据。项目会卡在讨论“谁负责什么”的那次会议上。
更合理的路径是:先建一个中心枢纽作为统一的标准化节点,再加一层编织式的集成层,在不重写的前提下接入物流遗留系统。然后选销售部作为数据网格的第一个试点业务域,因为只有这里有人能承担这份责任。
这不是妥协。它与 IBM 关于编织和网格可以并存的观点一致,也让每一步都对应到组织架构图上一个真实的团队。
需求调研应以哪些问题开场?
涉及数据时,在敲定架构之前了解客户,应该从人入手,而不是从基础设施入手。
与客户的第一次会谈,可以问四个问题:现在谁在清洗数据?一个新数据需求要排队多久?数字出错时,电话打给谁?是否已有业务域拥有自己的工程师?这四个答案通常足以判断客户处在上表的哪一列。
对想转向 FDE 工作的开发者来说,这是一项值得练习和展示的技能。阅读岗位描述时,留意“work with stakeholders across business units”或“data ownership”这类表述。它们说明这个岗位要求你读懂一个组织,而不只是写数据管道。
一行简历,改前与改后
以上面的零售连锁项目为例。改前是常见写法:“使用工具 X 为一家零售连锁企业构建数据管道。”这一行只能说明你会用某个工具。
改后:“零售连锁企业共三个部门,仅销售部有自有工程师:搭建中心枢纽,通过集成层接入物流遗留系统,在销售部试点数据所有权。”顺序是组织背景、架构决策、理由。
读到第二版的招聘方会看出,你理解这三种架构各自押注的是什么。工具随厂商的季度更替不断变化,但“客户公司里谁愿意为数据负责”这个问题,永远要先回答。
这篇文章对你有帮助吗?
感谢你的反馈!