接手银行遗留 Hadoop 集群,如何读懂又不弄坏它
每个组件只问两件事:数据在哪,谁决定运行;三副本下,1 GB 文件就是 48 个块副本。
要点速览
- HDFS 把元数据(NameNode)和数据(DataNode)分开。在 Hadoop 1.x 中,NameNode 是单点故障。
- YARN 决定谁能运行;MapReduce 决定作业怎么运行:先 map,再按键 shuffle,最后 reduce。
- HDFS 一次写入、多次读取。需要实时随机更新,就用 HBase。
设想你在一家银行上班的第二天。你拿到了一台边缘节点的 SSH 权限,外加一句叮嘱:全部交易历史都在 Hadoop 集群上,别把它弄挂了。
项目组里已经没人记得这个集群当初是怎么搭的。而你只有两周时间,要从里面取数,训练一个反欺诈模型。
如果你打算为银行或电信运营商做前线部署工程师(FDE),这样的场景迟早会遇到。你不必成为 Hadoop 专家,但要能快速读懂四个组件,知道哪些可以放心动,哪些一碰就断。
四个组件,两个问题:数据在哪,谁能运行?
最容易记住的方式,是把集群看成一摞分层。最底层是分布式文件系统 HDFS。往上是 YARN,负责分配 CPU 和内存。YARN 之上是批处理模型 MapReduce。HBase 与 YARN/MapReduce 这一支并列,直接以 HDFS 作为存储。
每个组件只需回答两个问题:数据实际存在哪里?由谁决定什么能运行?现场遇到的大多数事故,最终都能归到这两个问题之一。
一个 1 GB 的文件,在 HDFS 上到底有多少份?
HDFS 采用主从架构。NameNode 保存命名空间,记录每个文件、它的权限以及每个块的位置。DataNode 只做一件事:存块。
算一笔账。Hadoop 1.x 文档给出的典型块大小是 64 MB。一个 1 GB(即 1024 MB)的交易文件会被切成 16 个块。副本因子为 3 时,集群会在各个 DataNode 上保存 48 个块副本,NameNode 要记住这 48 份分别在哪。
这个数字说明两件事。一是负载:数百万个小文件意味着数百万条元数据,全都压在一台 NameNode 上。二是持久性:HDFS 总会在另一个机架上至少保留一份副本,所以整个机架宕掉,也未必丢数据。
副本数按文件设置,文件创建后还能修改。所以别默认每个目录的保护级别都一样。较新的集群通常也会用大于 64 MB 的块,要看实际配置,别照搬书上的数字。
还有一条基本规则:HDFS 一次写入、多次读取。你没法改文件中间的某一行。如果模型需要更新每个客户的风险评分,HDFS 不是干这件事的地方。
为什么首先要问 NameNode?
在 Hadoop 1.x 中,运行 NameNode 的那台机器是整个集群的单点故障。NameNode 一挂,数据虽然还在 DataNode 上,却没人知道哪个块属于哪个文件。
还有一种行为常常让人慌:NameNode 启动时会进入 Safemode,这期间不复制块。一个刚重启的老集群可能在 Safemode 里待上好一阵,你的作业会以各种莫名其妙的方式失败。这不是你代码的 bug。
所以向运维团队提的第一个问题应该是:这个集群开了 NameNode HA 吗?上次重启花了多久?答案决定了你接下来每一步操作的真实风险。
YARN 与 MapReduce:你的作业在等什么?
YARN 把资源管理与作业调度、监控拆开,交给不同的守护进程:一个 ResourceManager,每台机器上一个 NodeManager,每个应用一个 ApplicationMaster。资源如何在所有应用之间分配,由 ResourceManager 说了算。
作业一直处于等待状态时,别急着改代码。先看 ResourceManager 把资源给了谁。在银行里,很可能有一个日终对账作业排在你前面。
MapReduce 决定工作怎么执行。举个具体例子:按网点统计交易笔数。下面的代码为了易读,写成 Hadoop Streaming 风格的伪代码;原生 MapReduce 作业通常用 Java 编写。
# Hadoop Streaming 风格的伪代码(经典 MapReduce 用 Java 编写)
# map:每一行交易记录 -> (branch_code, 1)
def map_fn(line):
cols = line.split(",")
yield cols[2], 1
# shuffle:框架把键相同的所有键值对发往同一个 reducer
# reduce:按网点汇总计数
def reduce_fn(branch, counts):
yield branch, sum(counts)
(注释的意思是:map 步骤把每行交易转换成 (branch_code, 1) 键值对;系统把键相同的键值对 shuffle 到同一个 reducer;reduce 步骤按网点求和。)
map 阶段把数据转换成键值对。shuffle 阶段把键相同的键值对都发往同一个 reducer。reduce 阶段随后拿到一个网点及其完整的 1 列表,例如 (CN_HN01, [1, 1, 1, …]),相加即得该网点的交易总笔数。
如果某个大网点占了绝大部分交易,就会有一个 reducer 独自扛下这份负载,整个作业都在等最后一个任务。
最值得记住的局限是:MapReduce 一般不会在步骤之间把数据保留在内存里。因此像模型训练这类迭代任务,比在 Spark 上慢得多。MapReduce 适合抽取和聚合,不适合训练循环。
Hadoop 还有一条理念:移动计算,而不是移动数据。把所有数据拉到笔记本上或推到云端,这种本能做法通常既慢,又违反安全规定。过滤和聚合放在集群上做,只把精简后的结果带出来。
HBase:需要即时查到某个客户时
HDFS 不支持原地修改,所以读取或更新单条记录是 HBase 的活。它是一个非关系型宽列存储,以 Google 的 Bigtable 为原型,运行在 HDFS 或 Alluxio 之上,提供实时随机读写、自动故障转移和自动分片。
反欺诈项目最清晰的分工是:多年的交易历史留在 HDFS 上,供批量训练;每个客户最新的风险画像需要在每笔交易到来时按键查询,放进 HBase。
驻场第一周要做的五件事
第一,读实际配置。几条只读命令就足以起步,不会弄坏任何东西:
hdfs dfsadmin -safemode get
hdfs getconf -confKey dfs.blocksize
hdfs fsck /data/transactions -files -blocks -locations
yarn application -list
第二,问清 NameNode HA 和重启安排。第三,弄清哪个 YARN 队列属于你的团队,以及集群什么时候空闲。第四,梳理数据分布:哪些在 HDFS,哪些在 HBase,每个目录的副本因子是多少。最后,先在数据子集上跑一个小作业,再去碰全表。
如果你在瞄准 FDE 岗位,留意银行或电信公司那些提到 Hadoop、HDFS 或 HBase 的职位描述。简历上写一句“读懂 fsck 输出,把卡在 Safemode 的集群恢复过来”,远比“熟悉 Hadoop”有分量。
常见的坑
最常见的是往 HDFS 写成千上万个小输出文件。每个文件都会给 NameNode 增加元数据,而这个集群的 NameNode 可能还是单点故障。
其次是把 HDFS 当数据库用,试图更新单行。再就是以为块大小仍是 64 MB,或者以为副本数处处相同。还有作业其实在等资源、或者集群仍在 Safemode,却怪到代码头上。
代价最高的错误根本不是技术问题:没跟任何人打招呼,就在对账时段跑一个大作业。在全行都依赖的集群上,运维团队的信任比任何一个块都更难恢复。
在遗留系统上,好的 FDE 不是把它重写的人,而是把它理解得足够透彻、能在不破坏现有业务的前提下交付新价值的人。
这篇文章对你有帮助吗?
感谢你的反馈!