打开客户几 GB 的 CSV,笔记本不再卡死
pandas 先把数据全部读进内存再处理;Polars 的 scan_csv 先规划查询,只读需要的列和行。
要点速览
- pandas 官方文档自己也承认:数据只要占到内存的相当一部分就已经难以处理,因为很多操作会产生中间副本。
- Polars 的 scan_csv 和 scan_parquet 惰性读取,过滤和列选择在读文件阶段就已生效。
- 流式引擎分批执行查询,能处理超出内存的数据;据 Polars 介绍,它还比内存引擎更快。
设想你和一家物流客户的第一次工作会议。对方发来一个文件夹,里面有几十个 CSV 文件,总共几个 GB,然后问:上个月哪个仓库延迟交付最多?你打开 notebook,敲下 pd.read_csv。笔记本风扇狂转,光标一直转圈,整个会议室都在等你的答案。
这并不说明你能力不行。这是急切读取(eager reading)的局限:先把所有数据加载进内存,再开始处理。
Polars 的思路截然不同:先规划查询,再读取数据。对前线部署工程师(FDE)来说,这项技能决定了你能在会上当场回答客户,而不是承诺下周再给答案。
为什么文件还没内存大,pandas 就撑不住了?
pandas 官方文档说得很直白:处理比内存大的数据很难。文档还承认,数据只要占到内存的相当一部分就已经难以管理,因为部分 pandas 操作必须创建中间副本。
所以,在一台 16 GB 的机器上,一个 4 GB 的文件经过几次转换就可能耗尽内存。
pandas 也有自己的应对办法。只读取需要的列,在 pandas 文档的一个示例中可以把内存降到约十分之一,但并非所有格式都支持。
也可以分块读取,不过 pandas 文档指出,groupby 这类操作很难逐块完成。而“哪个仓库延迟最严重”恰恰就是一次 groupby。
惰性读取,就是少读
Polars 自称是面向 Python 和 Rust 的高性能 DataFrame 库,核心用 Rust 编写。对 FDE 来说,关键区别在于惰性模式(lazy mode)。scan_csv 函数以惰性方式读取 CSV,并能通过 data/*.csv 这样的 glob 模式一次接收多个文件。除 CSV 外,Polars 还为 IPC、Parquet 和 JSON 提供了 scan_ 函数。
调用 scan_csv 时,Polars 并不会马上把全部数据加载进内存,而是把你要做的操作记录成一个查询计划。这样优化器就能做谓词下推(predicate pushdown):把过滤条件尽量提前,一直推到读文件阶段。
它还会做投影下推(projection pushdown):只读取真正需要的列。scan_csv 的文档说明,这一机制可以降低所需内存。
把客户的问题写成查询
回到延迟仓库的问题。假设每个文件有 40 列,而你只需要三列:仓库、交付日期和延迟分钟数。再假设“上个月”指 2026 年 9 月,日期列以 YYYY-MM-DD 字符串存储。
import polars as pl
q = (
pl.scan_csv("deliveries/*.csv") # 只构建计划,尚未完整加载任何数据
.with_columns(pl.col("delivery_date").str.to_date("%Y-%m-%d"))
.filter(
pl.col("delivery_date").is_between(pl.date(2026, 9, 1), pl.date(2026, 9, 30))
)
.select(["warehouse", "delivery_date", "minutes_late"])
.group_by("warehouse")
.agg(pl.col("minutes_late").mean().alias("avg_minutes_late"))
.sort("avg_minutes_late", descending=True)
)
result = q.collect(engine="streaming") # 到这一步才真正执行
有两个小细节决定答案是否对得上问题。过滤条件同时设了下界和上界,所以只保留整整一个月,而不是“9 月至今”。日期列在比较前先转换成日期类型,这样写成 2026-9-5 或带有时间的行,就不会在字符串比较中悄悄漏过去。
其余部分依靠前面介绍的两种机制。投影下推在读取阶段就跳过另外 37 列。谓词下推在数据继续往下传之前就丢掉 9 月以外的行,最终结果是每个仓库一行,小到可以直接放进幻灯片。
Parquet 能整页跳过数据
如果客户给的是 Parquet,事情就更简单了。scan_parquet 惰性读取本地或云端的 Parquet 文件,并像 scan_csv 一样把过滤和列选择下推到读取阶段。不同之处在于,Polars 能读取 Parquet 文件里存储的统计信息,因此可以跳过不可能满足过滤条件的数据页。
所以,如果项目要持续几周,早期值得做的一件事就是把客户的原始 CSV 一次性转换成 Parquet:
pl.scan_csv("deliveries/*.csv").sink_parquet("deliveries.parquet")
# 从这里开始,每个新问题都从这一行起步:
q = pl.scan_parquet("deliveries.parquet")
此后,每个新问题都只读取相关数据,不必重新扫描全部原始 CSV。
数据真的比内存大时
惰性读取能帮你少读,但到某个时候,需要的那部分数据仍可能比内存大。这时就轮到流式引擎:Polars 分批执行查询,从而能处理内存装不下的数据。
Polars 文档还称,这个引擎比内存引擎更快,而不只是更省内存。不过,在对速度做任何承诺之前,仍应先在客户的真实数据上实测。
Polars 也有局限,最好提前了解。它的收益取决于查询写法是否给优化器留出了发挥空间。Polars 也不是 pandas 的重写版,pl.col(...) 表达式语法需要时间适应。
哪些错误会抵消惰性读取的收益?
刚上手 Polars 时,大多数错误并非来自库本身,而是来自从 pandas 带过来的习惯。下表列出了在客户数据上运行查询前需要逐一检查的问题。
| 常见错误 | 后果 | 修正方法 |
|---|---|---|
在 scan_csv 之后立即调用 collect(),再做过滤 |
整个文件被加载进内存,和 pandas 完全一样 | 先写完 filter、select 和 group_by 各步,再 collect |
出于习惯使用 read_csv |
没有可供优化的计划 | 改用 scan_csv 或 scan_parquet |
| 过滤“上个月”时只设下界 | 混入当月数据 | 用 is_between 同时限定两端 |
| 以字符串形式比较日期 | 格式不一致的行被错误过滤,却没有任何报错 | 过滤前先把该列转换成日期类型 |
| 每个问题都重新扫描原始 CSV | 每次运行都要重读全部数据 | 项目开始时一次性转换成 Parquet |
先学什么
从惰性思维入手:理解 scan_ 与 read_ 的区别,尽早过滤和选择列,只在最后一步 collect。然后再学 Parquet 和流式执行。求职时,不要只在简历上写“熟悉 Polars”。
改写一行带数字的经历,例如在多大内存的机器上处理了多少 GB 数据、峰值内存降低了多少,再把对比用的 notebook 放到 GitHub 上。
一份有具体测量数据的对比,能让看简历的人知道你真正做过,这是一串关键词很难证明的。
你的笔记本不需要更强。你只需要养成习惯:只读取客户问题所需的数据。
这篇文章对你有帮助吗?
感谢你的反馈!