# 没测过客户数据，别先报 Spark 集群规模

> 会上报出的数字会直接进预算；对照 Spark 默认阈值测几个小时，就知道单机够不够用。

原文: https://fdetimes.net/zh/guides/measure-data-before-sizing-spark-cluster/

与客户的第二次技术会议上，常会有人问：“我们的 Spark 集群该配几个节点？”这时你连对方的一个数据文件都还没打开。凭直觉回答风险很大，因为会议室里说出的数字往往会直接写进预算。

更稳妥的回答是：要一天的真实数据，再给几个小时做测量。这不是回避问题。Spark 的重要配置都是以字节、分区数或核心数表示的阈值，没有测量，给出的任何数字都只是猜测。

作为前线部署工程师（FDE），你可能要在陌生的系统上、时间紧张的情况下，面对一群并不关心分区是什么的人回答这个问题。所以你需要一套足够快的测量流程，好在下次会议时带着数字来。

## Spark 本身就有阈值，你要做的是拿数据去对照

Spark SQL 自带几个默认阈值，可以拿测量结果与之对比。读取 Parquet、JSON 或 ORC 时，每个分区最多 128 MB（`spark.sql.files.maxPartitionBytes`），因此输入数据量决定了读取任务的数量。做 join 和聚合时，Spark 默认把数据分成 200 个 shuffle 分区（`spark.sql.shuffle.partitions`）。

第三个阈值是广播 join：小于 10 MB 的表会整个发送到每个 worker，大表就不必 shuffle。第四个来自调优指南：Spark 建议每个 CPU 核心分配 2–3 个任务，也就是说分区数要根据集群的总核心数来计算。

从 Spark 3.2.0 起，自适应查询执行（AQE）默认开启。AQE 根据运行时统计信息重新优化执行计划，把小的 shuffle 分区合并到默认 64 MB 的目标大小，还能在 sort-merge join 中拆分倾斜分区。

按照 Spark 文档的说法，有了 AQE，就不必再为数据集挑选合适的 shuffle 分区数。即便如此，AQE 只是在运行时修正执行计划。实际数据量、文件布局和键倾斜，仍然需要你自己去测。

**要点:** 集群规模应当从数据的测量结果推导出来。不要先定规模再去测量。

## 测量一个夜间作业

举一个假设的例子。一家零售连锁企业每晚运行一个作业：把 `orders` 表与 `stores` 表 join，再按门店汇总营收。你要来一天的数据，运行三条测量命令，不需要任何搭建工作。

第一条命令统计数据量和文件数：`aws s3 ls --summarize --recursive s3://customer/orders/date=2026-10-01/`。第二条用 DuckDB 检查 Parquet 文件布局：

```sql
SELECT file_name,
       count(DISTINCT row_group_id) AS num_row_groups,
       max(row_group_num_rows)      AS max_rows_per_group
FROM parquet_metadata('orders/*.parquet')
GROUP BY file_name
ORDER BY max_rows_per_group DESC
LIMIT 10;
```

第三条是一个在本地运行的 PySpark notebook：

```python
from pyspark.sql import functions as F

orders = spark.read.parquet("orders/")
stores = spark.read.parquet("stores/")

print("读取分区数:", orders.rdd.getNumPartitions())

total = orders.count()
(orders.groupBy("store_id").count()
   .withColumn("share", F.col("count") / total)
   .orderBy(F.desc("count")).show(10))

orders.cache().count()   # 然后打开 web UI 中的 Storage 页
```

（最后一行注释的意思是：“然后打开 web UI 中的 Storage 页”。）

假设结果如下：`orders` 共 40 GB，分布在 12,000 个文件中，平均每个文件约 3.4 MB。`stores` 表 6 MB。一个 `store_id`，即线上销售渠道，占了 35% 的行。每个结果都对应不同的决策。

客户的文件远小于 DuckDB Parquet 布局指南推荐的 100 MB–10 GB 范围。

所以第一条建议应该是合并小文件（compaction），而不是加节点。如果元数据查询显示某个文件只有一个巨大的行组，你还能知道这个文件只能由单个线程处理。合理的行组大小是 10 万到 100 万行。

`stores` 表只有 6 MB，低于 10 MB 阈值，Spark 会广播它，`orders` 在 join 时就不必 shuffle。把这个数字记下来：等客户开了更多门店、这张表超过 10 MB，执行计划就会在没人通知你的情况下改变。

占 35% 的那个键是最需要盯紧的数字。Spark 文档明确指出，数据倾斜会严重拖慢 join，但 AQE 自动拆分倾斜分区只适用于 sort-merge join。

在 web UI 中打开聚合阶段，查看事件时间线。如果某个任务的运行时间远长于其他任务，或者 shuffle 读取量大出好几倍，这就是要提前向客户说明的预警信号。

最后是内存。Spark 文档说，估算内存的最佳方法是把数据集缓存起来，再查看 web UI 的 Storage 页。缓存一天的数据，你就得到一个真实数字，乘以数据需要保留的时长即可。这个数字比任何经验倍数都可靠。

## 40 GB 需要集群吗？

考虑集群之前，先做一次对比。MotherDuck 的一篇文章指出，对中小规模数据，Spark 最终只会以最低配置运行，却要承担大量额外开销。

文章以 AWS Glue 为例：该服务最低要求 2 个 DPU，所以即使样本数据集只有约 1 GB，你也要为 32 GB 内存和 8 个 vCPU 付费。

DuckDB 在单机上运行，数据超过内存时仍可溢写到磁盘处理。因此，把夜间作业的 join 和聚合原样放到 DuckDB 上跑一遍，计时，再与客户的批处理窗口对比。下次会议时，你带去的是实测数字，而不是观点。

例如，批处理窗口是 3 小时，DuckDB 处理 40 GB 用了 25 分钟，那么这个作业目前还不需要集群。

只有三个信号可能改变这个结论：考虑到客户的数据增长速度，单机运行时间逼近 3 小时窗口；维度表增长到需要两张大表互相 join；或者溢写磁盘占去了大部分运行时间。

出现其中任何一个信号时，可以用“每核 2–3 个任务”的建议算一算配置。假设规划中的集群共有 16 个核心，对应的建议是约 32–48 个分区。

同一时刻只有 16 个任务在运行，每个核心依次处理两到三个任务，先完成的核心会接着处理下一个任务，而不是闲着。shuffle 分区交给 AQE 按 64 MB 的目标去合并，不要手动调那个 200。

## 现场常见错误

最常见的错误是照搬上一个项目的配置，连同为完全不同的数据集手动调好的 `shuffle.partitions` 值一起搬过来。第二个错误是在清洗过的样本数据上测量。干净的样本里没有占 35% 的键，测量时一切都很顺利。

第三个错误是只看总量，忽略文件布局。40 GB 分成 12,000 个小文件，与 40 GB 分成 40 个 1 GB 的文件，是两个不同的问题。第四个错误是忘了维度表会增长。表接近 10 MB 时就该设置告警，因为一旦越过这个阈值，执行计划就会改变。

## 用测量结果回答面试题

有一道题值得在 FDE 面试前演练：“客户每晚新增 40 GB 数据，问要不要建 Spark 集群，你怎么做？”较弱的回答是罗列工具，较强的回答是给出测量计划。

可以分四步回答。首先，要一天的真实数据，测量数据量、文件数、行组、维度表大小和键倾斜。接着，缓存一份样本，测出真实内存。

然后，在 DuckDB 上跑一个单机基线，与批处理窗口对比。最后，讲清楚哪个数字会让你改变结论。这一步值得多花时间：它让对方看到，你知道自己的结论在什么情况下不再成立。

写进简历时，要写成具体成果，例如：“对每晚 40 GB 的数据做了画像分析，建议合并小文件并采用单机处理，而非搭建集群。”如果岗位描述提到基础设施成本优化或系统容量规划，就在那里讲这个故事，并带上数字。

下次客户问“要几个节点？”，先要一天的数据，承诺第二天带着数字回来。

**本周动手试试:**

- 找一个公开的 Parquet 数据集，运行 parquet_metadata 查询统计每个文件的行组数，再把文件大小与 100 MB–10 GB 的范围对比。
- 在本地 PySpark 和 DuckDB 上运行同样的 join 和聚合，把两者的运行时间和内存记录在一张表里。
- 为“客户每晚 40 GB 数据，要不要建集群？”准备一个两分钟的回答，其中至少包含三个你会去测量的数字。

## 信源

- [Tuning - Spark 4.2.0 Documentation](https://spark.apache.org/docs/latest/tuning.html)

- [Performance Tuning - Spark 4.2.0 Documentation](https://spark.apache.org/docs/latest/sql-performance-tuning.html)

- [Making PySpark Code Faster with DuckDB](https://motherduck.com/blog/making-pyspark-code-faster-with-duckdb)

- [Tuning Workloads](https://duckdb.org/docs/current/guides/performance/how_to_tune_workloads.html)

- [File Formats](https://duckdb.org/docs/current/guides/performance/file_formats.html)
