# S3 上的一堆 Parquet 文件，还算不上一张表

> S3 无法原子更新多个键，作业写到一半被杀就会留下残表，除非上层有 Delta Lake、Iceberg 或 Hudi。

原文: https://fdetimes.net/zh/guides/parquet-folder-on-s3-is-not-a-table/

周一早上，客户的收入看板显示，昨天的收入只有平常一天的三分之一。没人动过代码。夜间作业只是覆盖了 S3 上前一天的分区，跑到一半因内存不足被杀掉了。

这个场景是假设的，但在客户现场做过足够久数据工作的人，多少都遇到过类似情况。问题不在 S3，而在于把一个装满文件的文件夹当成了一张表。

每次项目启动会上，总有人说“全丢进 S3 就行”。前线部署工程师（FDE）需要知道：什么时候一个文件夹就够用，什么时候必须上表格式，以及如何把存储桶锁好，让客户数据既不外泄也不丢失。懂这些的工程师，搭出的数据管道客户能放心依赖；不懂的，搭出的管道只能在演示时跑通。

## 对象存储承诺了什么，没承诺什么

AWS 将 S3 定义为对象存储服务，常用于数据湖、备份、归档和大数据分析。S3 在所有 Region 中对 PUT 和 DELETE 提供强一致的写后读（read-after-write）。Google Cloud Storage 对所有上传也有类似保证。

“对象”这个词值得细读。S3 文档写得很清楚：所有更新都基于键，无法原子地更新多个键。如果两个 PUT 写同一个键，时间戳较晚的请求胜出。S3 不会替你给对象加锁，任何加锁机制都得由应用自己实现。

Azure Blob Storage 额外提供带分层文件系统的 Data Lake Storage，所以不要以为 S3 的限制原样适用于所有云。下面的例子只讨论 S3，因为它的限制在文档中写得最明确。

**要点:** 装满文件的文件夹还不是表；有了事务日志，它才成为一张可信的表。

## 推演一个中途失败的覆盖写作业

假设文件夹 `s3://acme-lake/orders/order_date=2026-10-08/` 里有三个文件：part-0、part-1 和 part-2。覆盖写作业采用最朴素的做法：先删掉三个旧文件，再写入三个新文件。每个操作都是针对单独键的单独请求。

假如作业刚写完新的 part-0 就挂了。读取方列出文件夹，只找到一个文件，报出的收入只有真实数字的三分之一。

如果反过来，先写新文件再删旧文件，中途失败时读取方会同时看到新旧文件，收入被算了两遍。

两种顺序都不安全，因为没有跨多个键的事务。

Delta Lake 的解法是在 Parquet 文件旁存放一份基于文件的事务日志，从而提供 ACID 事务。

```python
# 只覆盖一天的数据，在表级别保证原子性
(df_new.write.format("delta")
    .mode("overwrite")
    .option("replaceWhere", "order_date = '2026-10-08'")
    .save("s3://acme-lake/orders"))

# 读回作业运行前的版本，用于对比
before = (spark.read.format("delta")
    .option("versionAsOf", 41)
    .load("s3://acme-lake/orders"))
```

第一条语句只覆盖一天的数据，在表级别保证原子性；第二条读回作业运行前的版本，用于对比。如果作业在提交之前挂掉，新文件只是躺在那里，没有任何表指向它们，看板看到的仍是完整的旧版本。Delta 表的每次写入都会生成一个新版本，所以客户问起昨天这张表是什么样，不用翻备份就能回答。

## Delta、Iceberg 还是 Hudi：按客户的引擎来选

三种格式解决的是同一个问题，但各有所长。首先要问的不是“哪种格式最好”，而是“客户用什么引擎读数据”。

| 格式 | 优势 | 适用场景 |
|---|---|---|
| Delta Lake | 基于 Parquet 的开放事务日志；每次写入生成一个版本 | 客户已经在用 Databricks |
| Apache Iceberg | 专为超大规模分析表设计；时间旅行可针对精确快照重跑查询 | 客户在 AWS 上，想用 S3 Tables，通过 Athena、Redshift 或 Spark 查询 |
| Apache Hudi | 两种表类型 COPY_ON_WRITE 和 MERGE_ON_READ；擅长 upsert 和删除 | 数据源不断更新或删除单行数据 |

针对 Iceberg，AWS 现在提供一种专门的表存储桶 S3 Tables，专为存放这种格式的表而设计。如果客户扎根在 AWS 生态里，这是阻力最小的路线。

Iceberg 的时间旅行还能满足一个非常常见的需求：审计人员要重跑上周的报表，并得到完全相同的数字。

## 客户的存储桶：先锁好，再优化

S3 存储桶及其中的对象默认是私有的。保持这一点，并始终开启 Block Public Access。如果其他团队需要这些数据，按身份授予访问权限，不要图方便把存储桶公开。

接下来是三件保护工具。Versioning 保留每个对象的历史版本。Object Lock（WORM）在固定期限内或无限期地阻止对象被删除或覆盖。Lifecycle 自动转储或删除旧数据，以节省成本。

要分清两层保护。S3 Versioning 救的是单个文件，表格式的时间旅行救的是整张表的状态。接收带合规要求的原始数据时，可以考虑为原始区启用 Object Lock。

Lifecycle 规则必须和表格式的版本清理策略一起设计，否则可能误删旧版本仍然依赖的文件。

## 接手新数据湖的五个步骤

第一步，摸清谁在写、谁在读、有多少作业写往同一个位置。光是这张图，就能看出是否存在“最后写入者胜出”的风险。第二步，分出两个区：只追加原始文件的原始区，以及使用表格式的表区。

第三步，按照上表，根据客户的引擎选择格式。第四步，配置存储桶：私有、Block Public Access、Versioning，有具体理由时再加 Object Lock 和 Lifecycle。最后一步最常被跳过：故意在写入中途杀掉一个作业，然后检查看板是否仍然正确。

## 让客户失去信任的错误

最常见的错误，是把一个 Parquet 文件夹当成表，再让两个作业同时覆盖它。

另一个错误，是为了和合作方共享文件，把存储桶公开“就一个下午”。

更隐蔽的错误，是因为某种格式流行就选它，而不是看它是否契合客户付费购买、日常运维的工具。Hudi 表设计得再漂亮，如果客户的分析团队只会用 Athena、没人能维护，它就毫无价值。

阅读 FDE 岗位描述时，留意“lakehouse”“Iceberg”“Delta”或“CDC”这类词。简历上不要只写“用过 S3”，要具体写出设计了哪些表、选了哪种格式、如何演练过故障场景。

客户的夜间作业迟早会在中途挂掉。今天要决定的是：第二天早上的看板显示的是前天的数字，还是真实数字的三分之一。

**本周动手试试:**

- 在本机用 PySpark 把同一份数据分别写入一张普通 Parquet 表和一张 Delta 表。在覆盖写某个分区时杀掉作业，然后对比两张表读出的行数。
- 打开刚创建的表的 _delta_log 文件夹，逐个阅读 JSON 提交文件，并与 DESCRIBE HISTORY 返回的版本一一对应。
- 写一行准确描述你做过什么的简历条目，例如：“在 Delta 表上演练写入作业中途失败，并用时间旅行完成恢复”。

## 信源

- [What is Amazon S3?](https://docs.aws.amazon.com/AmazonS3/latest/userguide/Welcome.html)

- [Introduction to Blob (object) Storage - Azure Storage | Microsoft Learn](https://learn.microsoft.com/en-us/azure/storage/blobs/storage-blobs-introduction)

- [Google Cloud Storage - Wikipedia](https://en.wikipedia.org/wiki/Google_Cloud_Storage)

- [What is Delta Lake in Databricks?](https://docs.databricks.com/aws/en/delta)

- [Apache Iceberg](https://iceberg.apache.org/)

- [Overview | Apache Hudi](https://hudi.apache.org/docs/overview)
