没测过客户数据,别先报 Spark 集群规模
会上报出的数字会直接进预算;对照 Spark 默认阈值测几个小时,就知道单机够不够用。
要点速览
- Spark 的默认阈值(128 MB、200、10 MB、每核 2–3 个任务)只有与客户数据的实测结果对照才有意义。
- 对中小规模数据,Spark 的额外开销很大。DuckDB 单机运行,还能溢写到磁盘,是最值得先拿来对比的方案。
- 要得出“需要集群”的结论,必须指出某个具体数字越过了阈值,比如运行时间逼近批处理窗口。
与客户的第二次技术会议上,常会有人问:“我们的 Spark 集群该配几个节点?”这时你连对方的一个数据文件都还没打开。凭直觉回答风险很大,因为会议室里说出的数字往往会直接写进预算。
更稳妥的回答是:要一天的真实数据,再给几个小时做测量。这不是回避问题。Spark 的重要配置都是以字节、分区数或核心数表示的阈值,没有测量,给出的任何数字都只是猜测。
作为前线部署工程师(FDE),你可能要在陌生的系统上、时间紧张的情况下,面对一群并不关心分区是什么的人回答这个问题。所以你需要一套足够快的测量流程,好在下次会议时带着数字来。
Spark 本身就有阈值,你要做的是拿数据去对照
Spark SQL 自带几个默认阈值,可以拿测量结果与之对比。读取 Parquet、JSON 或 ORC 时,每个分区最多 128 MB(spark.sql.files.maxPartitionBytes),因此输入数据量决定了读取任务的数量。做 join 和聚合时,Spark 默认把数据分成 200 个 shuffle 分区(spark.sql.shuffle.partitions)。
第三个阈值是广播 join:小于 10 MB 的表会整个发送到每个 worker,大表就不必 shuffle。第四个来自调优指南:Spark 建议每个 CPU 核心分配 2–3 个任务,也就是说分区数要根据集群的总核心数来计算。
从 Spark 3.2.0 起,自适应查询执行(AQE)默认开启。AQE 根据运行时统计信息重新优化执行计划,把小的 shuffle 分区合并到默认 64 MB 的目标大小,还能在 sort-merge join 中拆分倾斜分区。
按照 Spark 文档的说法,有了 AQE,就不必再为数据集挑选合适的 shuffle 分区数。即便如此,AQE 只是在运行时修正执行计划。实际数据量、文件布局和键倾斜,仍然需要你自己去测。
测量一个夜间作业
举一个假设的例子。一家零售连锁企业每晚运行一个作业:把 orders 表与 stores 表 join,再按门店汇总营收。你要来一天的数据,运行三条测量命令,不需要任何搭建工作。
第一条命令统计数据量和文件数:aws s3 ls --summarize --recursive s3://customer/orders/date=2026-10-01/。第二条用 DuckDB 检查 Parquet 文件布局:
SELECT file_name,
count(DISTINCT row_group_id) AS num_row_groups,
max(row_group_num_rows) AS max_rows_per_group
FROM parquet_metadata('orders/*.parquet')
GROUP BY file_name
ORDER BY max_rows_per_group DESC
LIMIT 10;
第三条是一个在本地运行的 PySpark notebook:
from pyspark.sql import functions as F
orders = spark.read.parquet("orders/")
stores = spark.read.parquet("stores/")
print("读取分区数:", orders.rdd.getNumPartitions())
total = orders.count()
(orders.groupBy("store_id").count()
.withColumn("share", F.col("count") / total)
.orderBy(F.desc("count")).show(10))
orders.cache().count() # 然后打开 web UI 中的 Storage 页
(最后一行注释的意思是:“然后打开 web UI 中的 Storage 页”。)
假设结果如下:orders 共 40 GB,分布在 12,000 个文件中,平均每个文件约 3.4 MB。stores 表 6 MB。一个 store_id,即线上销售渠道,占了 35% 的行。每个结果都对应不同的决策。
客户的文件远小于 DuckDB Parquet 布局指南推荐的 100 MB–10 GB 范围。
所以第一条建议应该是合并小文件(compaction),而不是加节点。如果元数据查询显示某个文件只有一个巨大的行组,你还能知道这个文件只能由单个线程处理。合理的行组大小是 10 万到 100 万行。
stores 表只有 6 MB,低于 10 MB 阈值,Spark 会广播它,orders 在 join 时就不必 shuffle。把这个数字记下来:等客户开了更多门店、这张表超过 10 MB,执行计划就会在没人通知你的情况下改变。
占 35% 的那个键是最需要盯紧的数字。Spark 文档明确指出,数据倾斜会严重拖慢 join,但 AQE 自动拆分倾斜分区只适用于 sort-merge join。
在 web UI 中打开聚合阶段,查看事件时间线。如果某个任务的运行时间远长于其他任务,或者 shuffle 读取量大出好几倍,这就是要提前向客户说明的预警信号。
最后是内存。Spark 文档说,估算内存的最佳方法是把数据集缓存起来,再查看 web UI 的 Storage 页。缓存一天的数据,你就得到一个真实数字,乘以数据需要保留的时长即可。这个数字比任何经验倍数都可靠。
40 GB 需要集群吗?
考虑集群之前,先做一次对比。MotherDuck 的一篇文章指出,对中小规模数据,Spark 最终只会以最低配置运行,却要承担大量额外开销。
文章以 AWS Glue 为例:该服务最低要求 2 个 DPU,所以即使样本数据集只有约 1 GB,你也要为 32 GB 内存和 8 个 vCPU 付费。
DuckDB 在单机上运行,数据超过内存时仍可溢写到磁盘处理。因此,把夜间作业的 join 和聚合原样放到 DuckDB 上跑一遍,计时,再与客户的批处理窗口对比。下次会议时,你带去的是实测数字,而不是观点。
例如,批处理窗口是 3 小时,DuckDB 处理 40 GB 用了 25 分钟,那么这个作业目前还不需要集群。
只有三个信号可能改变这个结论:考虑到客户的数据增长速度,单机运行时间逼近 3 小时窗口;维度表增长到需要两张大表互相 join;或者溢写磁盘占去了大部分运行时间。
出现其中任何一个信号时,可以用“每核 2–3 个任务”的建议算一算配置。假设规划中的集群共有 16 个核心,对应的建议是约 32–48 个分区。
同一时刻只有 16 个任务在运行,每个核心依次处理两到三个任务,先完成的核心会接着处理下一个任务,而不是闲着。shuffle 分区交给 AQE 按 64 MB 的目标去合并,不要手动调那个 200。
现场常见错误
最常见的错误是照搬上一个项目的配置,连同为完全不同的数据集手动调好的 shuffle.partitions 值一起搬过来。第二个错误是在清洗过的样本数据上测量。干净的样本里没有占 35% 的键,测量时一切都很顺利。
第三个错误是只看总量,忽略文件布局。40 GB 分成 12,000 个小文件,与 40 GB 分成 40 个 1 GB 的文件,是两个不同的问题。第四个错误是忘了维度表会增长。表接近 10 MB 时就该设置告警,因为一旦越过这个阈值,执行计划就会改变。
用测量结果回答面试题
有一道题值得在 FDE 面试前演练:“客户每晚新增 40 GB 数据,问要不要建 Spark 集群,你怎么做?”较弱的回答是罗列工具,较强的回答是给出测量计划。
可以分四步回答。首先,要一天的真实数据,测量数据量、文件数、行组、维度表大小和键倾斜。接着,缓存一份样本,测出真实内存。
然后,在 DuckDB 上跑一个单机基线,与批处理窗口对比。最后,讲清楚哪个数字会让你改变结论。这一步值得多花时间:它让对方看到,你知道自己的结论在什么情况下不再成立。
写进简历时,要写成具体成果,例如:“对每晚 40 GB 的数据做了画像分析,建议合并小文件并采用单机处理,而非搭建集群。”如果岗位描述提到基础设施成本优化或系统容量规划,就在那里讲这个故事,并带上数字。
下次客户问“要几个节点?”,先要一天的数据,承诺第二天带着数字回来。
这篇文章对你有帮助吗?
感谢你的反馈!