# 打开客户几 GB 的 CSV，笔记本不再卡死

> pandas 先把数据全部读进内存再处理；Polars 的 scan_csv 先规划查询，只读需要的列和行。

原文: https://fdetimes.net/zh/tools/polars-scan-csv-large-client-files/

设想你和一家物流客户的第一次工作会议。对方发来一个文件夹，里面有几十个 CSV 文件，总共几个 GB，然后问：上个月哪个仓库延迟交付最多？你打开 notebook，敲下 `pd.read_csv`。笔记本风扇狂转，光标一直转圈，整个会议室都在等你的答案。

这并不说明你能力不行。这是急切读取（eager reading）的局限：先把所有数据加载进内存，再开始处理。

Polars 的思路截然不同：先规划查询，再读取数据。对前线部署工程师（FDE）来说，这项技能决定了你能在会上当场回答客户，而不是承诺下周再给答案。

## 为什么文件还没内存大，pandas 就撑不住了？

pandas 官方文档说得很直白：处理比内存大的数据很难。文档还承认，数据只要占到内存的相当一部分就已经难以管理，因为部分 pandas 操作必须创建中间副本。

所以，在一台 16 GB 的机器上，一个 4 GB 的文件经过几次转换就可能耗尽内存。

pandas 也有自己的应对办法。只读取需要的列，在 pandas 文档的一个示例中可以把内存降到约十分之一，但并非所有格式都支持。

也可以分块读取，不过 pandas 文档指出，`groupby` 这类操作很难逐块完成。而“哪个仓库延迟最严重”恰恰就是一次 groupby。

## 惰性读取，就是少读

Polars 自称是面向 Python 和 Rust 的高性能 DataFrame 库，核心用 Rust 编写。对 FDE 来说，关键区别在于惰性模式（lazy mode）。`scan_csv` 函数以惰性方式读取 CSV，并能通过 `data/*.csv` 这样的 glob 模式一次接收多个文件。除 CSV 外，Polars 还为 IPC、Parquet 和 JSON 提供了 `scan_` 函数。

调用 `scan_csv` 时，Polars 并不会马上把全部数据加载进内存，而是把你要做的操作记录成一个查询计划。这样优化器就能做谓词下推（predicate pushdown）：把过滤条件尽量提前，一直推到读文件阶段。

它还会做投影下推（projection pushdown）：只读取真正需要的列。`scan_csv` 的文档说明，这一机制可以降低所需内存。

**要点:** 不要先加载整个文件再过滤。让工具在读取时就完成过滤。

## 把客户的问题写成查询

回到延迟仓库的问题。假设每个文件有 40 列，而你只需要三列：仓库、交付日期和延迟分钟数。再假设“上个月”指 2026 年 9 月，日期列以 `YYYY-MM-DD` 字符串存储。

```python
import polars as pl

q = (
    pl.scan_csv("deliveries/*.csv")          # 只构建计划，尚未完整加载任何数据
    .with_columns(pl.col("delivery_date").str.to_date("%Y-%m-%d"))
    .filter(
        pl.col("delivery_date").is_between(pl.date(2026, 9, 1), pl.date(2026, 9, 30))
    )
    .select(["warehouse", "delivery_date", "minutes_late"])
    .group_by("warehouse")
    .agg(pl.col("minutes_late").mean().alias("avg_minutes_late"))
    .sort("avg_minutes_late", descending=True)
)

result = q.collect(engine="streaming")     # 到这一步才真正执行
```

有两个小细节决定答案是否对得上问题。过滤条件同时设了下界和上界，所以只保留整整一个月，而不是“9 月至今”。日期列在比较前先转换成日期类型，这样写成 `2026-9-5` 或带有时间的行，就不会在字符串比较中悄悄漏过去。

其余部分依靠前面介绍的两种机制。投影下推在读取阶段就跳过另外 37 列。谓词下推在数据继续往下传之前就丢掉 9 月以外的行，最终结果是每个仓库一行，小到可以直接放进幻灯片。

## Parquet 能整页跳过数据

如果客户给的是 Parquet，事情就更简单了。`scan_parquet` 惰性读取本地或云端的 Parquet 文件，并像 `scan_csv` 一样把过滤和列选择下推到读取阶段。不同之处在于，Polars 能读取 Parquet 文件里存储的统计信息，因此可以跳过不可能满足过滤条件的数据页。

所以，如果项目要持续几周，早期值得做的一件事就是把客户的原始 CSV 一次性转换成 Parquet：

```python
pl.scan_csv("deliveries/*.csv").sink_parquet("deliveries.parquet")

# 从这里开始，每个新问题都从这一行起步：
q = pl.scan_parquet("deliveries.parquet")
```

此后，每个新问题都只读取相关数据，不必重新扫描全部原始 CSV。

## 数据真的比内存大时

惰性读取能帮你少读，但到某个时候，需要的那部分数据仍可能比内存大。这时就轮到流式引擎：Polars 分批执行查询，从而能处理内存装不下的数据。

Polars 文档还称，这个引擎比内存引擎更快，而不只是更省内存。不过，在对速度做任何承诺之前，仍应先在客户的真实数据上实测。

Polars 也有局限，最好提前了解。它的收益取决于查询写法是否给优化器留出了发挥空间。Polars 也不是 pandas 的重写版，`pl.col(...)` 表达式语法需要时间适应。

## 哪些错误会抵消惰性读取的收益？

刚上手 Polars 时，大多数错误并非来自库本身，而是来自从 pandas 带过来的习惯。下表列出了在客户数据上运行查询前需要逐一检查的问题。

| 常见错误 | 后果 | 修正方法 |
|---|---|---|
| 在 `scan_csv` 之后立即调用 `collect()`，再做过滤 | 整个文件被加载进内存，和 pandas 完全一样 | 先写完 filter、select 和 group_by 各步，再 `collect` |
| 出于习惯使用 `read_csv` | 没有可供优化的计划 | 改用 `scan_csv` 或 `scan_parquet` |
| 过滤“上个月”时只设下界 | 混入当月数据 | 用 `is_between` 同时限定两端 |
| 以字符串形式比较日期 | 格式不一致的行被错误过滤，却没有任何报错 | 过滤前先把该列转换成日期类型 |
| 每个问题都重新扫描原始 CSV | 每次运行都要重读全部数据 | 项目开始时一次性转换成 Parquet |

## 先学什么

从惰性思维入手：理解 `scan_` 与 `read_` 的区别，尽早过滤和选择列，只在最后一步 `collect`。然后再学 Parquet 和流式执行。求职时，不要只在简历上写“熟悉 Polars”。

改写一行带数字的经历，例如在多大内存的机器上处理了多少 GB 数据、峰值内存降低了多少，再把对比用的 notebook 放到 GitHub 上。

一份有具体测量数据的对比，能让看简历的人知道你真正做过，这是一串关键词很难证明的。

你的笔记本不需要更强。你只需要养成习惯：只读取客户问题所需的数据。

**本周动手试试:**

- 找出手头最大的 CSV 文件，把读取它的 pandas 代码改写成 scan_csv，加上 filter 和 select，再比较两个版本的峰值内存。
- 把这个文件转换成 Parquet，用 scan_parquet 运行同一个查询，看看跳过数据页带来的收益。
- 用流式引擎在比本机内存还大的数据上试一次 group_by，并把做法整理成一个示例仓库。

## 信源

- [Polars](https://pola.rs/)

- [polars.scan_csv](https://docs.pola.rs/api/python/stable/reference/api/polars.scan_csv.html)

- [polars.scan_parquet](https://docs.pola.rs/api/python/stable/reference/api/polars.scan_parquet.html)

- [Optimizations](https://docs.pola.rs/user-guide/lazy/optimizations/)

- [Streaming](https://docs.pola.rs/user-guide/concepts/streaming/)

- [Usage](https://docs.pola.rs/user-guide/lazy/using/)

- [Scaling to large datasets — pandas 3.1.0 documentation](https://pandas.pydata.org/docs/user_guide/scale.html)
