S3 上的一堆 Parquet 文件,还算不上一张表
S3 无法原子更新多个键,作业写到一半被杀就会留下残表,除非上层有 Delta Lake、Iceberg 或 Hudi。
要点速览
- S3 对单个对象提供强一致性,但不支持跨多个键的原子更新,因此一个 Parquet 文件夹可能在写到一半时被读取。
- Delta Lake 用事务日志提供 ACID 保证,每次写入都生成新版本;Iceberg 支持基于快照的时间旅行;Hudi 擅长 upsert 和删除。
- 客户存储桶:先用 Block Public Access 保持私有,开启 Versioning,再按需添加 Object Lock 和 Lifecycle。
周一早上,客户的收入看板显示,昨天的收入只有平常一天的三分之一。没人动过代码。夜间作业只是覆盖了 S3 上前一天的分区,跑到一半因内存不足被杀掉了。
这个场景是假设的,但在客户现场做过足够久数据工作的人,多少都遇到过类似情况。问题不在 S3,而在于把一个装满文件的文件夹当成了一张表。
每次项目启动会上,总有人说“全丢进 S3 就行”。前线部署工程师(FDE)需要知道:什么时候一个文件夹就够用,什么时候必须上表格式,以及如何把存储桶锁好,让客户数据既不外泄也不丢失。懂这些的工程师,搭出的数据管道客户能放心依赖;不懂的,搭出的管道只能在演示时跑通。
对象存储承诺了什么,没承诺什么
AWS 将 S3 定义为对象存储服务,常用于数据湖、备份、归档和大数据分析。S3 在所有 Region 中对 PUT 和 DELETE 提供强一致的写后读(read-after-write)。Google Cloud Storage 对所有上传也有类似保证。
“对象”这个词值得细读。S3 文档写得很清楚:所有更新都基于键,无法原子地更新多个键。如果两个 PUT 写同一个键,时间戳较晚的请求胜出。S3 不会替你给对象加锁,任何加锁机制都得由应用自己实现。
Azure Blob Storage 额外提供带分层文件系统的 Data Lake Storage,所以不要以为 S3 的限制原样适用于所有云。下面的例子只讨论 S3,因为它的限制在文档中写得最明确。
推演一个中途失败的覆盖写作业
假设文件夹 s3://acme-lake/orders/order_date=2026-10-08/ 里有三个文件:part-0、part-1 和 part-2。覆盖写作业采用最朴素的做法:先删掉三个旧文件,再写入三个新文件。每个操作都是针对单独键的单独请求。
假如作业刚写完新的 part-0 就挂了。读取方列出文件夹,只找到一个文件,报出的收入只有真实数字的三分之一。
如果反过来,先写新文件再删旧文件,中途失败时读取方会同时看到新旧文件,收入被算了两遍。
两种顺序都不安全,因为没有跨多个键的事务。
Delta Lake 的解法是在 Parquet 文件旁存放一份基于文件的事务日志,从而提供 ACID 事务。
# 只覆盖一天的数据,在表级别保证原子性
(df_new.write.format("delta")
.mode("overwrite")
.option("replaceWhere", "order_date = '2026-10-08'")
.save("s3://acme-lake/orders"))
# 读回作业运行前的版本,用于对比
before = (spark.read.format("delta")
.option("versionAsOf", 41)
.load("s3://acme-lake/orders"))
第一条语句只覆盖一天的数据,在表级别保证原子性;第二条读回作业运行前的版本,用于对比。如果作业在提交之前挂掉,新文件只是躺在那里,没有任何表指向它们,看板看到的仍是完整的旧版本。Delta 表的每次写入都会生成一个新版本,所以客户问起昨天这张表是什么样,不用翻备份就能回答。
Delta、Iceberg 还是 Hudi:按客户的引擎来选
三种格式解决的是同一个问题,但各有所长。首先要问的不是“哪种格式最好”,而是“客户用什么引擎读数据”。
| 格式 | 优势 | 适用场景 |
|---|---|---|
| Delta Lake | 基于 Parquet 的开放事务日志;每次写入生成一个版本 | 客户已经在用 Databricks |
| Apache Iceberg | 专为超大规模分析表设计;时间旅行可针对精确快照重跑查询 | 客户在 AWS 上,想用 S3 Tables,通过 Athena、Redshift 或 Spark 查询 |
| Apache Hudi | 两种表类型 COPY_ON_WRITE 和 MERGE_ON_READ;擅长 upsert 和删除 | 数据源不断更新或删除单行数据 |
针对 Iceberg,AWS 现在提供一种专门的表存储桶 S3 Tables,专为存放这种格式的表而设计。如果客户扎根在 AWS 生态里,这是阻力最小的路线。
Iceberg 的时间旅行还能满足一个非常常见的需求:审计人员要重跑上周的报表,并得到完全相同的数字。
客户的存储桶:先锁好,再优化
S3 存储桶及其中的对象默认是私有的。保持这一点,并始终开启 Block Public Access。如果其他团队需要这些数据,按身份授予访问权限,不要图方便把存储桶公开。
接下来是三件保护工具。Versioning 保留每个对象的历史版本。Object Lock(WORM)在固定期限内或无限期地阻止对象被删除或覆盖。Lifecycle 自动转储或删除旧数据,以节省成本。
要分清两层保护。S3 Versioning 救的是单个文件,表格式的时间旅行救的是整张表的状态。接收带合规要求的原始数据时,可以考虑为原始区启用 Object Lock。
Lifecycle 规则必须和表格式的版本清理策略一起设计,否则可能误删旧版本仍然依赖的文件。
接手新数据湖的五个步骤
第一步,摸清谁在写、谁在读、有多少作业写往同一个位置。光是这张图,就能看出是否存在“最后写入者胜出”的风险。第二步,分出两个区:只追加原始文件的原始区,以及使用表格式的表区。
第三步,按照上表,根据客户的引擎选择格式。第四步,配置存储桶:私有、Block Public Access、Versioning,有具体理由时再加 Object Lock 和 Lifecycle。最后一步最常被跳过:故意在写入中途杀掉一个作业,然后检查看板是否仍然正确。
让客户失去信任的错误
最常见的错误,是把一个 Parquet 文件夹当成表,再让两个作业同时覆盖它。
另一个错误,是为了和合作方共享文件,把存储桶公开“就一个下午”。
更隐蔽的错误,是因为某种格式流行就选它,而不是看它是否契合客户付费购买、日常运维的工具。Hudi 表设计得再漂亮,如果客户的分析团队只会用 Athena、没人能维护,它就毫无价值。
阅读 FDE 岗位描述时,留意“lakehouse”“Iceberg”“Delta”或“CDC”这类词。简历上不要只写“用过 S3”,要具体写出设计了哪些表、选了哪种格式、如何演练过故障场景。
客户的夜间作业迟早会在中途挂掉。今天要决定的是:第二天早上的看板显示的是前天的数字,还是真实数字的三分之一。
这篇文章对你有帮助吗?
感谢你的反馈!