FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

没测过客户数据,别先报 Spark 集群规模

会上报出的数字会直接进预算;对照 Spark 默认阈值测几个小时,就知道单机够不够用。

分享微博

要点速览

  • Spark 的默认阈值(128 MB、200、10 MB、每核 2–3 个任务)只有与客户数据的实测结果对照才有意义。
  • 对中小规模数据,Spark 的额外开销很大。DuckDB 单机运行,还能溢写到磁盘,是最值得先拿来对比的方案。
  • 要得出“需要集群”的结论,必须指出某个具体数字越过了阈值,比如运行时间逼近批处理窗口。
大号数字 3.4 MB:40 GB 数据拆成 12,000 个文件后每个文件的平均大小。这远低于 DuckDB 为 Parquet 文件推荐的约 100 MB–10 GB,因此应先合并小文件,再考虑加节点。
在文中的例子里,每个文件平均只有约 3.4 MB,远低于推荐的文件大小。首先应提出的是合并小文件,而不是增加节点。来源:文中假设示例;DuckDB 的 Parquet 布局指南。

与客户的第二次技术会议上,常会有人问:“我们的 Spark 集群该配几个节点?”这时你连对方的一个数据文件都还没打开。凭直觉回答风险很大,因为会议室里说出的数字往往会直接写进预算。

更稳妥的回答是:要一天的真实数据,再给几个小时做测量。这不是回避问题。Spark 的重要配置都是以字节、分区数或核心数表示的阈值,没有测量,给出的任何数字都只是猜测。

作为前线部署工程师(FDE),你可能要在陌生的系统上、时间紧张的情况下,面对一群并不关心分区是什么的人回答这个问题。所以你需要一套足够快的测量流程,好在下次会议时带着数字来。

Spark 本身就有阈值,你要做的是拿数据去对照

Spark SQL 自带几个默认阈值,可以拿测量结果与之对比。读取 Parquet、JSON 或 ORC 时,每个分区最多 128 MB(spark.sql.files.maxPartitionBytes),因此输入数据量决定了读取任务的数量。做 join 和聚合时,Spark 默认把数据分成 200 个 shuffle 分区(spark.sql.shuffle.partitions)。

第三个阈值是广播 join:小于 10 MB 的表会整个发送到每个 worker,大表就不必 shuffle。第四个来自调优指南:Spark 建议每个 CPU 核心分配 2–3 个任务,也就是说分区数要根据集群的总核心数来计算。

从 Spark 3.2.0 起,自适应查询执行(AQE)默认开启。AQE 根据运行时统计信息重新优化执行计划,把小的 shuffle 分区合并到默认 64 MB 的目标大小,还能在 sort-merge join 中拆分倾斜分区。

按照 Spark 文档的说法,有了 AQE,就不必再为数据集挑选合适的 shuffle 分区数。即便如此,AQE 只是在运行时修正执行计划。实际数据量、文件布局和键倾斜,仍然需要你自己去测。

测量一个夜间作业

举一个假设的例子。一家零售连锁企业每晚运行一个作业:把 orders 表与 stores 表 join,再按门店汇总营收。你要来一天的数据,运行三条测量命令,不需要任何搭建工作。

第一条命令统计数据量和文件数:aws s3 ls --summarize --recursive s3://customer/orders/date=2026-10-01/。第二条用 DuckDB 检查 Parquet 文件布局:

SELECT file_name,
       count(DISTINCT row_group_id) AS num_row_groups,
       max(row_group_num_rows)      AS max_rows_per_group
FROM parquet_metadata('orders/*.parquet')
GROUP BY file_name
ORDER BY max_rows_per_group DESC
LIMIT 10;

第三条是一个在本地运行的 PySpark notebook:

from pyspark.sql import functions as F

orders = spark.read.parquet("orders/")
stores = spark.read.parquet("stores/")

print("读取分区数:", orders.rdd.getNumPartitions())

total = orders.count()
(orders.groupBy("store_id").count()
   .withColumn("share", F.col("count") / total)
   .orderBy(F.desc("count")).show(10))

orders.cache().count()   # 然后打开 web UI 中的 Storage 页

(最后一行注释的意思是:“然后打开 web UI 中的 Storage 页”。)

假设结果如下:orders 共 40 GB,分布在 12,000 个文件中,平均每个文件约 3.4 MB。stores 表 6 MB。一个 store_id,即线上销售渠道,占了 35% 的行。每个结果都对应不同的决策。

客户的文件远小于 DuckDB Parquet 布局指南推荐的 100 MB–10 GB 范围。

所以第一条建议应该是合并小文件(compaction),而不是加节点。如果元数据查询显示某个文件只有一个巨大的行组,你还能知道这个文件只能由单个线程处理。合理的行组大小是 10 万到 100 万行。

stores 表只有 6 MB,低于 10 MB 阈值,Spark 会广播它,orders 在 join 时就不必 shuffle。把这个数字记下来:等客户开了更多门店、这张表超过 10 MB,执行计划就会在没人通知你的情况下改变。

占 35% 的那个键是最需要盯紧的数字。Spark 文档明确指出,数据倾斜会严重拖慢 join,但 AQE 自动拆分倾斜分区只适用于 sort-merge join。

在 web UI 中打开聚合阶段,查看事件时间线。如果某个任务的运行时间远长于其他任务,或者 shuffle 读取量大出好几倍,这就是要提前向客户说明的预警信号。

最后是内存。Spark 文档说,估算内存的最佳方法是把数据集缓存起来,再查看 web UI 的 Storage 页。缓存一天的数据,你就得到一个真实数字,乘以数据需要保留的时长即可。这个数字比任何经验倍数都可靠。

40 GB 需要集群吗?

考虑集群之前,先做一次对比。MotherDuck 的一篇文章指出,对中小规模数据,Spark 最终只会以最低配置运行,却要承担大量额外开销。

文章以 AWS Glue 为例:该服务最低要求 2 个 DPU,所以即使样本数据集只有约 1 GB,你也要为 32 GB 内存和 8 个 vCPU 付费。

DuckDB 在单机上运行,数据超过内存时仍可溢写到磁盘处理。因此,把夜间作业的 join 和聚合原样放到 DuckDB 上跑一遍,计时,再与客户的批处理窗口对比。下次会议时,你带去的是实测数字,而不是观点。

例如,批处理窗口是 3 小时,DuckDB 处理 40 GB 用了 25 分钟,那么这个作业目前还不需要集群。

只有三个信号可能改变这个结论:考虑到客户的数据增长速度,单机运行时间逼近 3 小时窗口;维度表增长到需要两张大表互相 join;或者溢写磁盘占去了大部分运行时间。

出现其中任何一个信号时,可以用“每核 2–3 个任务”的建议算一算配置。假设规划中的集群共有 16 个核心,对应的建议是约 32–48 个分区。

同一时刻只有 16 个任务在运行,每个核心依次处理两到三个任务,先完成的核心会接着处理下一个任务,而不是闲着。shuffle 分区交给 AQE 按 64 MB 的目标去合并,不要手动调那个 200。

现场常见错误

最常见的错误是照搬上一个项目的配置,连同为完全不同的数据集手动调好的 shuffle.partitions 值一起搬过来。第二个错误是在清洗过的样本数据上测量。干净的样本里没有占 35% 的键,测量时一切都很顺利。

第三个错误是只看总量,忽略文件布局。40 GB 分成 12,000 个小文件,与 40 GB 分成 40 个 1 GB 的文件,是两个不同的问题。第四个错误是忘了维度表会增长。表接近 10 MB 时就该设置告警,因为一旦越过这个阈值,执行计划就会改变。

用测量结果回答面试题

有一道题值得在 FDE 面试前演练:“客户每晚新增 40 GB 数据,问要不要建 Spark 集群,你怎么做?”较弱的回答是罗列工具,较强的回答是给出测量计划。

可以分四步回答。首先,要一天的真实数据,测量数据量、文件数、行组、维度表大小和键倾斜。接着,缓存一份样本,测出真实内存。

然后,在 DuckDB 上跑一个单机基线,与批处理窗口对比。最后,讲清楚哪个数字会让你改变结论。这一步值得多花时间:它让对方看到,你知道自己的结论在什么情况下不再成立。

写进简历时,要写成具体成果,例如:“对每晚 40 GB 的数据做了画像分析,建议合并小文件并采用单机处理,而非搭建集群。”如果岗位描述提到基础设施成本优化或系统容量规划,就在那里讲这个故事,并带上数字。

下次客户问“要几个节点?”,先要一天的数据,承诺第二天带着数字回来。

这篇文章对你有帮助吗?

5 个信源
路线图上的下一篇 · 阶段 2: 全栈工程能力localhost 上跑通的 React 演示,只完成了一半六个步骤,把客户演示从没装 Node 的电脑做到类型检查通过、API 密钥不进包的干净构建。