# 选数据网格还是数据编织，看客户的组织架构而非技术栈

> 网格、编织和中心化数仓各自预设了一种组织方式，预设选错，再好的技术栈也会停滞。

原文: https://fdetimes.net/zh/analysis/data-mesh-vs-fabric-org-chart/

Dehghani 在 2020 年那篇奠定数据网格基础的文章里，并没有从工具讲起。她描述的问题与人有关：中心化数据仓库模式要求由一个中心团队清洗、协调并编码所有流入的数据。

这是组织架构的问题，不是数据库的问题。然而，当前线部署工程师（FDE）坐进会议室，客户问“我们要不要做数据网格？”，讨论往往很快转向厂商、工具和云成本。

更好的回答应该从别处入手。网格、编织和中心化数仓并不是同一件事的三个版本。三者各自假设客户公司以不同方式组织起来，假设选错，再好的技术栈也会卡住。

## 数据网格先改结构，再换工具

AWS 将数据网格定义为一种去中心化的数据管理模式，用于解决棘手的数据共享问题。关键在下一句：数据管理的责任按业务职能或业务域拆分，而不是交给单个团队。

Dehghani 的原文提出了四条原则。第一，数据所有权和架构按业务域分布。第二，把数据当作产品。第三，建设自助服务平台。第四，“联邦计算治理”（federated computational governance）：治理由各方联合承担，并通过代码强制执行。

现在，以负责落地的人的身份重读这四条原则。按照 AWS 的说法，每个业务域团队都要用产品思维对待自己提供的数据集，治理也成为整个组织共同承担的责任。

换句话说，销售团队需要有人懂 schema，承诺一定的质量水平，并在其他团队投诉其数据时出面回应。

如果客户没有这样的人，数据网格只是幻灯片上一张好看的图。因此，关于网格的第一个问题永远是“哪些业务域有能力拥有自己的数据？”，而不是“该用哪个数据目录工具？”。

## 网格没有取消中心团队，只是改变了它的工作

即使业务域人手充足，数据网格也会带来一项容易被低估的负担，而且它就藏在四条原则里。自助服务平台不会自己建起来：必须有人搭建并运维它，供每个业务域使用。

联邦治理同样有成本。责任共担时，各业务域必须商定共同标准，并写成代码来强制执行；每次修改标准，都意味着又要在多个团队之间协调一轮。

由此可见，数据网格是转移负担，而不是消除负担。中心团队不再替所有人清洗数据，转而负责建设平台和制定规则。为客户估算工作量时，从一开始就要把这一项摆上桌面。

## 数据编织不问数据归谁

IBM 将数据编织描述为一种支持广泛访问数据的架构，并强调它不是一款软件，而是一种设计方法。当厂商想卖给你一套打包好的“数据编织”时，这一点值得记住。

James Serra 在 2021 年的一篇文章中，给出了按组织选择架构时最有用的区分：编织以技术为中心，网格则聚焦于组织变革。他补充说，编织主要解决数据的技术集成，并不规定由谁来做这项工作，也不规定数据归谁所有。

正因为不触动所有权，编织往往更容易获得客户认可：不必说服任何一位部门负责人承担新的责任。IBM 还认为，编织可以与网格并存，而且常常能让网格运转得更好，二者并不互斥。

这一特点同样是编织的局限。如果客户真正的痛点是没有人对数据质量负责，那么集成层再精巧，也只是让所有人更快拿到糟糕的数据。

## 中心化数仓并未过时

在关于去中心化的种种争论中，人们很容易忘记中心化模式解决了多少问题。按照 Wikipedia 的描述，数据枢纽不只是像数据湖或普通数仓那样存储数据，还负责去重、质量控制、安全管理，并提供一套标准化的查询服务。

对一家只有一个五人数据团队、其他部门大多用 Excel 办公的公司来说，这正是他们需要的。Dehghani 所说的瓶颈，只有当业务域和数据源的数量超出一个中心团队的处理能力时，才会真正让人头疼。

下表按各自回答的组织问题，把三种模式并列比较。“适用情形”一行是根据各模式特点推断出的建议，并非硬性规则。

| 问题 | 中心化数仓 / 数据枢纽 | 数据编织 | 数据网格 |
|---|---|---|---|
| 谁来准备数据？ | 一个中心团队负责清洗、协调和安全 | 不规定，由组织自定 | 各业务域团队，把数据集当作产品 |
| 治理放在哪里？ | 集中 | 不规定由谁负责 | 由各业务域共担，通过代码强制执行 |
| 变革性质 | 由单一位置提供标准化数据 | 面向集成与访问的技术设计 | 组织变革 |
| 适用情形 | 业务域少，有一个强数据团队 | 数据源多且分散，不愿调整组织 | 各业务域有人手和能力拥有数据 |
| 选错的信号 | 中心团队成了全公司的排队窗口 | 访问更快了，但没人对质量负责 | 业务域里没人承担数据产品负责人角色，或没人运维自助服务平台 |

## 设想一家零售连锁企业

假设你被派到一家零售连锁企业，它有三个部门：销售、物流和市场。销售部有自己的工程团队，习惯构建 API。物流部运行在一套遗留系统上，只有一个人懂它的表结构。市场部每周靠手动导出的文件取数。

如果第一天就提议三个部门全部采用数据网格，等于要求物流和市场在无人可用的情况下用产品思维对待数据。项目会卡在讨论“谁负责什么”的那次会议上。

更合理的路径是：先建一个中心枢纽作为统一的标准化节点，再加一层编织式的集成层，在不重写的前提下接入物流遗留系统。然后选销售部作为数据网格的第一个试点业务域，因为只有这里有人能承担这份责任。

**要点:** 数据架构必须顺应客户现有的组织能力，只有当各业务域逐步具备拥有自身数据的人手时，才应向去中心化推进。

这不是妥协。它与 IBM 关于编织和网格可以并存的观点一致，也让每一步都对应到组织架构图上一个真实的团队。

## 需求调研应以哪些问题开场？

涉及数据时，在敲定架构之前了解客户，应该从人入手，而不是从基础设施入手。

与客户的第一次会谈，可以问四个问题：现在谁在清洗数据？一个新数据需求要排队多久？数字出错时，电话打给谁？是否已有业务域拥有自己的工程师？这四个答案通常足以判断客户处在上表的哪一列。

对想转向 FDE 工作的开发者来说，这是一项值得练习和展示的技能。阅读岗位描述时，留意“work with stakeholders across business units”或“data ownership”这类表述。它们说明这个岗位要求你读懂一个组织，而不只是写数据管道。

## 一行简历，改前与改后

以上面的零售连锁项目为例。改前是常见写法：“使用工具 X 为一家零售连锁企业构建数据管道。”这一行只能说明你会用某个工具。

改后：“零售连锁企业共三个部门，仅销售部有自有工程师：搭建中心枢纽，通过集成层接入物流遗留系统，在销售部试点数据所有权。”顺序是组织背景、架构决策、理由。

读到第二版的招聘方会看出，你理解这三种架构各自押注的是什么。工具随厂商的季度更替不断变化，但“客户公司里谁愿意为数据负责”这个问题，永远要先回答。

**本周动手试试:**

- 选一个你参与的数据系统，梳理每张主要表由谁创建、谁清洗、谁使用，再标出哪个团队是瓶颈。
- 阅读 Dehghani 发表在 martinfowler.com 上的原文，把四条原则各用一句话重写，并补上每条原则发挥作用所需的组织条件。
- 按“组织背景、架构选择、选择理由”的格式，重写简历中关于某个数据项目的一行。

## 信源

- [What Is a Data Mesh? - AWS](https://aws.amazon.com/what-is/data-mesh)

- [Data Mesh Principles and Logical Architecture](https://martinfowler.com/articles/data-mesh-principles.html)

- [What is a data fabric?](http://ibm.com/think/topics/data-fabric)

- [Data Fabric defined](https://www.jamesserra.com/archive/2021/06/data-fabric-defined/)

- [Data hub](https://en.wikipedia.org/wiki/Data_hub)
