# 问五个人数据在哪，得到五个答案

> 第一周只用只读权限，分七步建好数据源清单，在搭管道和 Agent 之前记清负责人、血缘和使用限制。

原文: https://fdetimes.net/zh/guides/data-source-inventory-seven-steps/

进场第一周，你问五个人“客户数据存在哪里？”，很可能得到五个不同的答案。每个答案都对了一部分，但没有人掌握全貌。

你的第一项工作，是把这五个答案汇总到一个客户团队都认可的文件里。IBM 对数据摄取的定义是：从多个来源收集数据，用于存储、处理和分析。没人列出来的数据源，你也就无从收集。

因此，数据源清单是后续一切工作的基础，管道、仪表盘、Agent 都建在它之上。下面七个步骤教你从零建一份清单，并用一个假想客户贯穿始终，让你看到清单如何一步步填满。

## 一周结束时你会得到什么

产出是一张电子表格，或项目仓库里的一个 CSV 文件，每个数据源占一行。GeekyAnts 的数据发现指南把目标定为一份完整、可信的清单，其中每个数据源都有负责人、数据血缘和使用限制。

你需要准备三样东西：一个双方都能查看的文件存放位置，一份客户方的联系人名单，以及你获准查看的系统的读取权限。第一周只申请只读权限。你是来观察的，暂时不改动任何东西。

贯穿全文的示例是一家假想的零售连锁企业，有三个数据源：门店的销售终端（POS）系统、一套客户关系管理（CRM）系统，以及市场团队自己搭建的一个调查表单。下文所有数据行都只是示意。

## 第 1 步：从少量字段开始

周一上午，这家零售企业的运营负责人发来一份“主要系统”清单，上面只有两个名字：POS 和 CRM。你会忍不住马上开一张表，加上一大堆列。先忍住。

据 IF4IT 的说法，初始记录只需要七个字段：ID、显示名称、描述、结构、数据类型、领域和敏感级别分类。在这七个字段之外，再加几列直接服务于部署工作的字段，拿到信息之前先留空。

示例中的列名依次表示：ID、名称、描述、结构、类型、领域、敏感级别、负责人、摄取方式、是否支持 CDC、数据血缘、使用限制、摄取团队数量、质量备注、Schema 漂移风险。

```csv
id,name,description,structure,type,domain,sensitivity,owner,ingest_mode,cdc_support,lineage,usage_constraints,ingest_team_count,quality_notes,schema_drift_risk
```

第一天结束后，前七列如下（两行分别把 POS 订单描述为收银交易，把 CRM 描述为客户档案和联系记录，敏感级别都还是“unclassified”，即未分类）：

```csv
id,name,description,structure,type,domain,sensitivity
SRC-001,POS 订单,门店交易,关系表,交易数据,零售,unclassified
SRC-002,客户 CRM,客户档案和联系记录,带自定义字段的记录,客户数据,市场,unclassified
```

进入下一步前先检查：每一行的前六列你都必须填得出来。敏感级别一列在第 5 步之前都写“unclassified”。如果你无法用一句话描述某个数据源，说明你还没有理解它。把它标记为待解决的问题。

## 第 2 步：按来源类别扫描，不要凭记忆

运营负责人那份只有两个系统的清单几乎肯定不完整。为了避免遗漏，可以把 Qlik 列出的四类典型数据源当作访谈清单：数据库、IoT 设备、SaaS 应用和数据湖。和每个部门逐类过一遍。

SaaS 要问得最细，因为部门自己注册的工具，可能不在你获准扫描的系统名单里。在这家零售企业，直到你问市场团队“你们还用别的 SaaS 应用吗？”，调查表单才浮出水面，清单随之多了一行：`SRC-003,调查表单`。

对于有权限访问的系统，不要手工录入。GeekyAnts 建议用工具生成初始目录，大约 80% 自动、20% 人工。扫描工具负责能从系统本身读到的信息：名称、结构、数据类型。

人工部分覆盖的是机器自己无从知道的内容，比如谁负责某个数据源、它用来做什么。这些只能靠访谈获得。

## 第 3 步：每一行都要有一个人名

问“CRM 归谁管？”，得到的回答是“IT”。这不算答案。IF4IT 要求每条记录都有各自的负责人（Owner）和管理员（Steward），清单本身也必须有指名道姓的负责人。写“IT 部门”或“数据团队”，等于什么都没写。

```csv
id,owner
SRC-001,Nguyen Van A
SRC-002,Tran Thi B
SRC-003,市场团队
```

**要点:** 没有具体负责人的数据源，不算完成盘点。

检查：筛选 `owner`（负责人）一列，统计空白单元格和只写了团队名的单元格。在上面的示例中，`SRC-003` 不合格。把这类行整理成问题清单，带到与客户项目发起人的会议上。

## 第 4 步：批处理还是流式？有没有 CDC？

POS 几乎实时把交易推送到中央数据仓库，CRM 则每晚才导出一个文件。这两个数据源需要两种不同的管道。IBM 区分了两种摄取方式：批量摄取先收集数据再一次性处理，实时摄取则在数据生成时立即处理。

因此，`ingest_mode`（摄取方式）这一列会主导后续的大部分设计。同时还要记下哪些数据源支持变更数据捕获（CDC）。按 Qlik 的描述，这种机制通过跟踪事务日志，只把发生变化的数据传到目标系统：

```csv
id,ingest_mode,cdc_support,lineage
SRC-001,stream,yes,POS -> 中央数据仓库
SRC-002,batch,unclear,CRM -> 每晚导出文件
SRC-003,batch,no,表单 -> 手动下载的 CSV 文件
```

这里 yes 表示支持，no 表示不支持，unclear 表示尚不清楚。“尚不清楚”不是错误，而是又一个要问第 3 步中那位负责人的问题。

## 第 5 步：给每个数据源标注敏感级别

客户方一位同事主动提出发你“一份 CRM 样例文件，方便你快速测试”。先别接。据 IBM 的说法，摄取过程中暴露的数据越多，敏感数据泄露的风险就越大。所以 `sensitivity`（敏感级别）一列是必填项，看起来无害的数据源也不例外。

GeekyAnts 建议给每个数据集标注敏感级别，并运行自动化的个人身份信息（PII）/受保护健康信息（PHI）检测工具，再辅以人工复核。在示例中，POS 只是“内部”级别；CRM 存有电话号码和电子邮箱，属于“PII”；调查表单有自由文本字段，暂时标为“可能包含 PII”。

这一步要在把任何数据复制到开发环境之前完成，而不是之后。等到第三周才在测试文件里发现客户电话号码，就太晚了。

## 第 6 步：找出重复摄取和质量问题

访谈中 CRM 被提到了三次：市场、客服和 BI 团队都说“我们在拉 CRM 的数据”。Qlik 警告的正是这种情况：多个团队从同一数据源摄取时，数据很容易变得零散、重复。

`ingest_team_count` 一列记录有多少个团队从某个数据源拉取数据。数值为 2 或以上，说明多个团队手里握着同一份数据的不同副本。CRM 这一格是 3，这是第一个值得提出的风险。三个团队的名称可以写进 `quality_notes`（质量备注）。

Qlik 还建议把数据质量和完整性检查纳入数据治理。在盘点阶段，不需要做细致的度量。在 `quality_notes` 里写一句观察，比如“POS 部分行缺少门店编码”，就足以知道以后该度量什么。

## 第 7 步：记录 Schema 漂移风险并安排核对

市场团队提到，他们几乎每个月都会修改调查问题。这就是 Schema 漂移的来源。IBM 将其描述为源数据结构的变化，例如字段的新增、删除或修改，导致源端和目标端不再一致。

把每个数据源归入低、中、高三档，依据只有一个问题：这个数据源是否经常在没人通知的情况下改动列？调查表单应评为高。POS 大概可以评为低。

清单本身也会过时。IF4IT 建议在早期至少每季度核对一次，组织成熟后改为每月一次，或在每次新增集成时核对。把这个周期写进交接文档，并明确客户方由谁负责。

## 让清单变成“死文件”的常见错误

常见错误之一，是一开始就堆砌大量字段，盘到第十个数据源就放弃了。还有一种，是把负责人写成部门名称，或者把清单存在自己的笔记本电脑上，而不是放在客户能查看和编辑的地方。

最危险的错误，是把清单当成文书工作。每个空白单元格，都是一个还没人点名的项目风险。

## 清单如何帮你应对客户、充实简历

在第一周结束的评审会上带上这份清单。它向客户表明你对他们的系统理解有多深，也让你有底气说“这部分暂时做不了，因为调查表单没有负责人”。

简历上不要只写“处理过数据”。要写具体：盘点了多少个数据源，发现了多少处重复摄取，以及在数据离开客户系统之前就完成了敏感级别标注。这也是面试时可以讲的具体故事。

管道可以重写，Agent 可以调优。第一周漏掉的数据源，可能要到第十周才会暴露。

**本周动手试试:**

- 打开一张表，建好第 1 步中的表头，试着填入你所在公司的 5 个数据源。
- 为这 5 个数据源分别写下负责人。写不出名字的，记为待跟进的问题。
- 写一条简历要点，描述你如何盘点或梳理数据源，包括数据源数量和发现的风险。

## 信源

- [What is Data Ingestion? (IBM Think)](https://www.ibm.com/think/topics/data-ingestion)

- [Data Ingestion (Qlik)](https://www.qlik.com/us/data-ingestion)

- [Chapter 13: Data Discovery & Cataloging | AI Consulting Guide](https://ai-consulting.geekyants.com/chapters/13)

- [Build, own, and govern the Data and Information Inventory (IF4IT)](https://if4it.org/best-practices/data-and-information-inventory-and-attributes/build-own-and-govern-the-data-and-information-inventory/)
