问五个人数据在哪,得到五个答案
第一周只用只读权限,分七步建好数据源清单,在搭管道和 Agent 之前记清负责人、血缘和使用限制。
要点速览
- 起步时七个字段就够了。负责人一列必须写到具体某个人。
- 每个数据源都要记下是批处理还是流式、是否支持 CDC、敏感程度如何。这三点决定管道怎么设计。
- 清单需要定期核对,早期至少每季度一次,并写明交接后由客户方哪位负责人维护。
进场第一周,你问五个人“客户数据存在哪里?”,很可能得到五个不同的答案。每个答案都对了一部分,但没有人掌握全貌。
你的第一项工作,是把这五个答案汇总到一个客户团队都认可的文件里。IBM 对数据摄取的定义是:从多个来源收集数据,用于存储、处理和分析。没人列出来的数据源,你也就无从收集。
因此,数据源清单是后续一切工作的基础,管道、仪表盘、Agent 都建在它之上。下面七个步骤教你从零建一份清单,并用一个假想客户贯穿始终,让你看到清单如何一步步填满。
一周结束时你会得到什么
产出是一张电子表格,或项目仓库里的一个 CSV 文件,每个数据源占一行。GeekyAnts 的数据发现指南把目标定为一份完整、可信的清单,其中每个数据源都有负责人、数据血缘和使用限制。
你需要准备三样东西:一个双方都能查看的文件存放位置,一份客户方的联系人名单,以及你获准查看的系统的读取权限。第一周只申请只读权限。你是来观察的,暂时不改动任何东西。
贯穿全文的示例是一家假想的零售连锁企业,有三个数据源:门店的销售终端(POS)系统、一套客户关系管理(CRM)系统,以及市场团队自己搭建的一个调查表单。下文所有数据行都只是示意。
第 1 步:从少量字段开始
周一上午,这家零售企业的运营负责人发来一份“主要系统”清单,上面只有两个名字:POS 和 CRM。你会忍不住马上开一张表,加上一大堆列。先忍住。
据 IF4IT 的说法,初始记录只需要七个字段:ID、显示名称、描述、结构、数据类型、领域和敏感级别分类。在这七个字段之外,再加几列直接服务于部署工作的字段,拿到信息之前先留空。
示例中的列名依次表示:ID、名称、描述、结构、类型、领域、敏感级别、负责人、摄取方式、是否支持 CDC、数据血缘、使用限制、摄取团队数量、质量备注、Schema 漂移风险。
id,name,description,structure,type,domain,sensitivity,owner,ingest_mode,cdc_support,lineage,usage_constraints,ingest_team_count,quality_notes,schema_drift_risk
第一天结束后,前七列如下(两行分别把 POS 订单描述为收银交易,把 CRM 描述为客户档案和联系记录,敏感级别都还是“unclassified”,即未分类):
id,name,description,structure,type,domain,sensitivity
SRC-001,POS 订单,门店交易,关系表,交易数据,零售,unclassified
SRC-002,客户 CRM,客户档案和联系记录,带自定义字段的记录,客户数据,市场,unclassified
进入下一步前先检查:每一行的前六列你都必须填得出来。敏感级别一列在第 5 步之前都写“unclassified”。如果你无法用一句话描述某个数据源,说明你还没有理解它。把它标记为待解决的问题。
第 2 步:按来源类别扫描,不要凭记忆
运营负责人那份只有两个系统的清单几乎肯定不完整。为了避免遗漏,可以把 Qlik 列出的四类典型数据源当作访谈清单:数据库、IoT 设备、SaaS 应用和数据湖。和每个部门逐类过一遍。
SaaS 要问得最细,因为部门自己注册的工具,可能不在你获准扫描的系统名单里。在这家零售企业,直到你问市场团队“你们还用别的 SaaS 应用吗?”,调查表单才浮出水面,清单随之多了一行:SRC-003,调查表单。
对于有权限访问的系统,不要手工录入。GeekyAnts 建议用工具生成初始目录,大约 80% 自动、20% 人工。扫描工具负责能从系统本身读到的信息:名称、结构、数据类型。
人工部分覆盖的是机器自己无从知道的内容,比如谁负责某个数据源、它用来做什么。这些只能靠访谈获得。
第 3 步:每一行都要有一个人名
问“CRM 归谁管?”,得到的回答是“IT”。这不算答案。IF4IT 要求每条记录都有各自的负责人(Owner)和管理员(Steward),清单本身也必须有指名道姓的负责人。写“IT 部门”或“数据团队”,等于什么都没写。
id,owner
SRC-001,Nguyen Van A
SRC-002,Tran Thi B
SRC-003,市场团队
检查:筛选 owner(负责人)一列,统计空白单元格和只写了团队名的单元格。在上面的示例中,SRC-003 不合格。把这类行整理成问题清单,带到与客户项目发起人的会议上。
第 4 步:批处理还是流式?有没有 CDC?
POS 几乎实时把交易推送到中央数据仓库,CRM 则每晚才导出一个文件。这两个数据源需要两种不同的管道。IBM 区分了两种摄取方式:批量摄取先收集数据再一次性处理,实时摄取则在数据生成时立即处理。
因此,ingest_mode(摄取方式)这一列会主导后续的大部分设计。同时还要记下哪些数据源支持变更数据捕获(CDC)。按 Qlik 的描述,这种机制通过跟踪事务日志,只把发生变化的数据传到目标系统:
id,ingest_mode,cdc_support,lineage
SRC-001,stream,yes,POS -> 中央数据仓库
SRC-002,batch,unclear,CRM -> 每晚导出文件
SRC-003,batch,no,表单 -> 手动下载的 CSV 文件
这里 yes 表示支持,no 表示不支持,unclear 表示尚不清楚。“尚不清楚”不是错误,而是又一个要问第 3 步中那位负责人的问题。
第 5 步:给每个数据源标注敏感级别
客户方一位同事主动提出发你“一份 CRM 样例文件,方便你快速测试”。先别接。据 IBM 的说法,摄取过程中暴露的数据越多,敏感数据泄露的风险就越大。所以 sensitivity(敏感级别)一列是必填项,看起来无害的数据源也不例外。
GeekyAnts 建议给每个数据集标注敏感级别,并运行自动化的个人身份信息(PII)/受保护健康信息(PHI)检测工具,再辅以人工复核。在示例中,POS 只是“内部”级别;CRM 存有电话号码和电子邮箱,属于“PII”;调查表单有自由文本字段,暂时标为“可能包含 PII”。
这一步要在把任何数据复制到开发环境之前完成,而不是之后。等到第三周才在测试文件里发现客户电话号码,就太晚了。
第 6 步:找出重复摄取和质量问题
访谈中 CRM 被提到了三次:市场、客服和 BI 团队都说“我们在拉 CRM 的数据”。Qlik 警告的正是这种情况:多个团队从同一数据源摄取时,数据很容易变得零散、重复。
ingest_team_count 一列记录有多少个团队从某个数据源拉取数据。数值为 2 或以上,说明多个团队手里握着同一份数据的不同副本。CRM 这一格是 3,这是第一个值得提出的风险。三个团队的名称可以写进 quality_notes(质量备注)。
Qlik 还建议把数据质量和完整性检查纳入数据治理。在盘点阶段,不需要做细致的度量。在 quality_notes 里写一句观察,比如“POS 部分行缺少门店编码”,就足以知道以后该度量什么。
第 7 步:记录 Schema 漂移风险并安排核对
市场团队提到,他们几乎每个月都会修改调查问题。这就是 Schema 漂移的来源。IBM 将其描述为源数据结构的变化,例如字段的新增、删除或修改,导致源端和目标端不再一致。
把每个数据源归入低、中、高三档,依据只有一个问题:这个数据源是否经常在没人通知的情况下改动列?调查表单应评为高。POS 大概可以评为低。
清单本身也会过时。IF4IT 建议在早期至少每季度核对一次,组织成熟后改为每月一次,或在每次新增集成时核对。把这个周期写进交接文档,并明确客户方由谁负责。
让清单变成“死文件”的常见错误
常见错误之一,是一开始就堆砌大量字段,盘到第十个数据源就放弃了。还有一种,是把负责人写成部门名称,或者把清单存在自己的笔记本电脑上,而不是放在客户能查看和编辑的地方。
最危险的错误,是把清单当成文书工作。每个空白单元格,都是一个还没人点名的项目风险。
清单如何帮你应对客户、充实简历
在第一周结束的评审会上带上这份清单。它向客户表明你对他们的系统理解有多深,也让你有底气说“这部分暂时做不了,因为调查表单没有负责人”。
简历上不要只写“处理过数据”。要写具体:盘点了多少个数据源,发现了多少处重复摄取,以及在数据离开客户系统之前就完成了敏感级别标注。这也是面试时可以讲的具体故事。
管道可以重写,Agent 可以调优。第一周漏掉的数据源,可能要到第十周才会暴露。
这篇文章对你有帮助吗?
感谢你的反馈!