# 接手银行遗留 Hadoop 集群，如何读懂又不弄坏它

> 每个组件只问两件事：数据在哪，谁决定运行；三副本下，1 GB 文件就是 48 个块副本。

原文: https://fdetimes.net/zh/guides/legacy-hadoop-cluster-hdfs-yarn-hbase/

设想你在一家银行上班的第二天。你拿到了一台边缘节点的 SSH 权限，外加一句叮嘱：全部交易历史都在 Hadoop 集群上，别把它弄挂了。

项目组里已经没人记得这个集群当初是怎么搭的。而你只有两周时间，要从里面取数，训练一个反欺诈模型。

如果你打算为银行或电信运营商做前线部署工程师（FDE），这样的场景迟早会遇到。你不必成为 Hadoop 专家，但要能快速读懂四个组件，知道哪些可以放心动，哪些一碰就断。

## 四个组件，两个问题：数据在哪，谁能运行？

最容易记住的方式，是把集群看成一摞分层。最底层是分布式文件系统 HDFS。往上是 YARN，负责分配 CPU 和内存。YARN 之上是批处理模型 MapReduce。HBase 与 YARN/MapReduce 这一支并列，直接以 HDFS 作为存储。

每个组件只需回答两个问题：数据实际存在哪里？由谁决定什么能运行？现场遇到的大多数事故，最终都能归到这两个问题之一。

## 一个 1 GB 的文件，在 HDFS 上到底有多少份？

HDFS 采用主从架构。NameNode 保存命名空间，记录每个文件、它的权限以及每个块的位置。DataNode 只做一件事：存块。

算一笔账。Hadoop 1.x 文档给出的典型块大小是 64 MB。一个 1 GB（即 1024 MB）的交易文件会被切成 16 个块。副本因子为 3 时，集群会在各个 DataNode 上保存 48 个块副本，NameNode 要记住这 48 份分别在哪。

这个数字说明两件事。一是负载：数百万个小文件意味着数百万条元数据，全都压在一台 NameNode 上。二是持久性：HDFS 总会在另一个机架上至少保留一份副本，所以整个机架宕掉，也未必丢数据。

副本数按文件设置，文件创建后还能修改。所以别默认每个目录的保护级别都一样。较新的集群通常也会用大于 64 MB 的块，要看实际配置，别照搬书上的数字。

还有一条基本规则：HDFS 一次写入、多次读取。你没法改文件中间的某一行。如果模型需要更新每个客户的风险评分，HDFS 不是干这件事的地方。

## 为什么首先要问 NameNode？

在 Hadoop 1.x 中，运行 NameNode 的那台机器是整个集群的单点故障。NameNode 一挂，数据虽然还在 DataNode 上，却没人知道哪个块属于哪个文件。

还有一种行为常常让人慌：NameNode 启动时会进入 Safemode，这期间不复制块。一个刚重启的老集群可能在 Safemode 里待上好一阵，你的作业会以各种莫名其妙的方式失败。这不是你代码的 bug。

所以向运维团队提的第一个问题应该是：这个集群开了 NameNode HA 吗？上次重启花了多久？答案决定了你接下来每一步操作的真实风险。

## YARN 与 MapReduce：你的作业在等什么？

YARN 把资源管理与作业调度、监控拆开，交给不同的守护进程：一个 ResourceManager，每台机器上一个 NodeManager，每个应用一个 ApplicationMaster。资源如何在所有应用之间分配，由 ResourceManager 说了算。

作业一直处于等待状态时，别急着改代码。先看 ResourceManager 把资源给了谁。在银行里，很可能有一个日终对账作业排在你前面。

MapReduce 决定工作怎么执行。举个具体例子：按网点统计交易笔数。下面的代码为了易读，写成 Hadoop Streaming 风格的伪代码；原生 MapReduce 作业通常用 Java 编写。

```python
# Hadoop Streaming 风格的伪代码（经典 MapReduce 用 Java 编写）

# map：每一行交易记录 -> (branch_code, 1)
def map_fn(line):
    cols = line.split(",")
    yield cols[2], 1

# shuffle：框架把键相同的所有键值对发往同一个 reducer

# reduce：按网点汇总计数
def reduce_fn(branch, counts):
    yield branch, sum(counts)
```

（注释的意思是：map 步骤把每行交易转换成 (branch_code, 1) 键值对；系统把键相同的键值对 shuffle 到同一个 reducer；reduce 步骤按网点求和。）

map 阶段把数据转换成键值对。shuffle 阶段把键相同的键值对都发往同一个 reducer。reduce 阶段随后拿到一个网点及其完整的 1 列表，例如 (CN_HN01, [1, 1, 1, ...])，相加即得该网点的交易总笔数。

如果某个大网点占了绝大部分交易，就会有一个 reducer 独自扛下这份负载，整个作业都在等最后一个任务。

最值得记住的局限是：MapReduce 一般不会在步骤之间把数据保留在内存里。因此像模型训练这类迭代任务，比在 Spark 上慢得多。MapReduce 适合抽取和聚合，不适合训练循环。

Hadoop 还有一条理念：移动计算，而不是移动数据。把所有数据拉到笔记本上或推到云端，这种本能做法通常既慢，又违反安全规定。过滤和聚合放在集群上做，只把精简后的结果带出来。

## HBase：需要即时查到某个客户时

HDFS 不支持原地修改，所以读取或更新单条记录是 HBase 的活。它是一个非关系型宽列存储，以 Google 的 Bigtable 为原型，运行在 HDFS 或 Alluxio 之上，提供实时随机读写、自动故障转移和自动分片。

反欺诈项目最清晰的分工是：多年的交易历史留在 HDFS 上，供批量训练；每个客户最新的风险画像需要在每笔交易到来时按键查询，放进 HBase。

**要点:** 以读为主的数据留在 HDFS；需要逐条查询和更新的数据放进 HBase。

## 驻场第一周要做的五件事

第一，读实际配置。几条只读命令就足以起步，不会弄坏任何东西：

```bash
hdfs dfsadmin -safemode get
hdfs getconf -confKey dfs.blocksize
hdfs fsck /data/transactions -files -blocks -locations
yarn application -list
```

第二，问清 NameNode HA 和重启安排。第三，弄清哪个 YARN 队列属于你的团队，以及集群什么时候空闲。第四，梳理数据分布：哪些在 HDFS，哪些在 HBase，每个目录的副本因子是多少。最后，先在数据子集上跑一个小作业，再去碰全表。

如果你在瞄准 FDE 岗位，留意银行或电信公司那些提到 Hadoop、HDFS 或 HBase 的职位描述。简历上写一句“读懂 fsck 输出，把卡在 Safemode 的集群恢复过来”，远比“熟悉 Hadoop”有分量。

## 常见的坑

最常见的是往 HDFS 写成千上万个小输出文件。每个文件都会给 NameNode 增加元数据，而这个集群的 NameNode 可能还是单点故障。

其次是把 HDFS 当数据库用，试图更新单行。再就是以为块大小仍是 64 MB，或者以为副本数处处相同。还有作业其实在等资源、或者集群仍在 Safemode，却怪到代码头上。

代价最高的错误根本不是技术问题：没跟任何人打招呼，就在对账时段跑一个大作业。在全行都依赖的集群上，运维团队的信任比任何一个块都更难恢复。

在遗留系统上，好的 FDE 不是把它重写的人，而是把它理解得足够透彻、能在不破坏现有业务的前提下交付新价值的人。

**本周动手试试:**

- 搭一个单节点 Hadoop 集群，上传一个约 1 GB 的文件，再用 hdfs fsck 数一数块数，看看每个副本落在哪里。
- 用 map/reduce 写一个按网点统计交易笔数的作业，再用 Spark 重跑一遍，记下两者的差异。
- 准备五个问题，涵盖 NameNode HA、块大小、副本数、YARN 队列和 HBase 表，带到与运维团队的第一次会议上。

## 信源

- [HDFS Architecture Guide](https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html)

- [What is Hadoop Distributed File System (HDFS)?](https://www.ibm.com/think/topics/hdfs)

- [Apache Hadoop YARN](https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/YARN.html)

- [What is Apache MapReduce?](https://www.ibm.com/topics/mapreduce)

- [Apache HBase](https://hbase.apache.org/)

- [Apache HBase](https://en.wikipedia.org/wiki/Apache_HBase)
