FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

工具

打开客户几 GB 的 CSV,笔记本不再卡死

pandas 先把数据全部读进内存再处理;Polars 的 scan_csv 先规划查询,只读需要的列和行。

分享微博

要点速览

  • pandas 官方文档自己也承认:数据只要占到内存的相当一部分就已经难以处理,因为很多操作会产生中间副本。
  • Polars 的 scan_csv 和 scan_parquet 惰性读取,过滤和列选择在读文件阶段就已生效。
  • 流式引擎分批执行查询,能处理超出内存的数据;据 Polars 介绍,它还比内存引擎更快。
一排 40 个方格,每格代表 CSV 文件中的一列。前 3 格为橙色,是被读取的仓库、交付日期和延迟分钟数三列;其余 37 个灰色方格是 scan_csv 借助投影下推在读取时跳过的列。
借助投影下推,延迟交付查询在每个文件的 40 列中只读取 3 列,其余 37 列在读取时即被丢弃。来源:文中假设示例,依据 Polars scan_csv 文档。

设想你和一家物流客户的第一次工作会议。对方发来一个文件夹,里面有几十个 CSV 文件,总共几个 GB,然后问:上个月哪个仓库延迟交付最多?你打开 notebook,敲下 pd.read_csv。笔记本风扇狂转,光标一直转圈,整个会议室都在等你的答案。

这并不说明你能力不行。这是急切读取(eager reading)的局限:先把所有数据加载进内存,再开始处理。

Polars 的思路截然不同:先规划查询,再读取数据。对前线部署工程师(FDE)来说,这项技能决定了你能在会上当场回答客户,而不是承诺下周再给答案。

为什么文件还没内存大,pandas 就撑不住了?

pandas 官方文档说得很直白:处理比内存大的数据很难。文档还承认,数据只要占到内存的相当一部分就已经难以管理,因为部分 pandas 操作必须创建中间副本。

所以,在一台 16 GB 的机器上,一个 4 GB 的文件经过几次转换就可能耗尽内存。

pandas 也有自己的应对办法。只读取需要的列,在 pandas 文档的一个示例中可以把内存降到约十分之一,但并非所有格式都支持。

也可以分块读取,不过 pandas 文档指出,groupby 这类操作很难逐块完成。而“哪个仓库延迟最严重”恰恰就是一次 groupby。

惰性读取,就是少读

Polars 自称是面向 Python 和 Rust 的高性能 DataFrame 库,核心用 Rust 编写。对 FDE 来说,关键区别在于惰性模式(lazy mode)。scan_csv 函数以惰性方式读取 CSV,并能通过 data/*.csv 这样的 glob 模式一次接收多个文件。除 CSV 外,Polars 还为 IPC、Parquet 和 JSON 提供了 scan_ 函数。

调用 scan_csv 时,Polars 并不会马上把全部数据加载进内存,而是把你要做的操作记录成一个查询计划。这样优化器就能做谓词下推(predicate pushdown):把过滤条件尽量提前,一直推到读文件阶段。

它还会做投影下推(projection pushdown):只读取真正需要的列。scan_csv 的文档说明,这一机制可以降低所需内存。

把客户的问题写成查询

回到延迟仓库的问题。假设每个文件有 40 列,而你只需要三列:仓库、交付日期和延迟分钟数。再假设“上个月”指 2026 年 9 月,日期列以 YYYY-MM-DD 字符串存储。

import polars as pl

q = (
    pl.scan_csv("deliveries/*.csv")          # 只构建计划,尚未完整加载任何数据
    .with_columns(pl.col("delivery_date").str.to_date("%Y-%m-%d"))
    .filter(
        pl.col("delivery_date").is_between(pl.date(2026, 9, 1), pl.date(2026, 9, 30))
    )
    .select(["warehouse", "delivery_date", "minutes_late"])
    .group_by("warehouse")
    .agg(pl.col("minutes_late").mean().alias("avg_minutes_late"))
    .sort("avg_minutes_late", descending=True)
)

result = q.collect(engine="streaming")     # 到这一步才真正执行

有两个小细节决定答案是否对得上问题。过滤条件同时设了下界和上界,所以只保留整整一个月,而不是“9 月至今”。日期列在比较前先转换成日期类型,这样写成 2026-9-5 或带有时间的行,就不会在字符串比较中悄悄漏过去。

其余部分依靠前面介绍的两种机制。投影下推在读取阶段就跳过另外 37 列。谓词下推在数据继续往下传之前就丢掉 9 月以外的行,最终结果是每个仓库一行,小到可以直接放进幻灯片。

Parquet 能整页跳过数据

如果客户给的是 Parquet,事情就更简单了。scan_parquet 惰性读取本地或云端的 Parquet 文件,并像 scan_csv 一样把过滤和列选择下推到读取阶段。不同之处在于,Polars 能读取 Parquet 文件里存储的统计信息,因此可以跳过不可能满足过滤条件的数据页。

所以,如果项目要持续几周,早期值得做的一件事就是把客户的原始 CSV 一次性转换成 Parquet:

pl.scan_csv("deliveries/*.csv").sink_parquet("deliveries.parquet")

# 从这里开始,每个新问题都从这一行起步:
q = pl.scan_parquet("deliveries.parquet")

此后,每个新问题都只读取相关数据,不必重新扫描全部原始 CSV。

数据真的比内存大时

惰性读取能帮你少读,但到某个时候,需要的那部分数据仍可能比内存大。这时就轮到流式引擎:Polars 分批执行查询,从而能处理内存装不下的数据。

Polars 文档还称,这个引擎比内存引擎更快,而不只是更省内存。不过,在对速度做任何承诺之前,仍应先在客户的真实数据上实测。

Polars 也有局限,最好提前了解。它的收益取决于查询写法是否给优化器留出了发挥空间。Polars 也不是 pandas 的重写版,pl.col(...) 表达式语法需要时间适应。

哪些错误会抵消惰性读取的收益?

刚上手 Polars 时,大多数错误并非来自库本身,而是来自从 pandas 带过来的习惯。下表列出了在客户数据上运行查询前需要逐一检查的问题。

常见错误 后果 修正方法
在 scan_csv 之后立即调用 collect(),再做过滤 整个文件被加载进内存,和 pandas 完全一样 先写完 filter、select 和 group_by 各步,再 collect
出于习惯使用 read_csv 没有可供优化的计划 改用 scan_csv 或 scan_parquet
过滤“上个月”时只设下界 混入当月数据 用 is_between 同时限定两端
以字符串形式比较日期 格式不一致的行被错误过滤,却没有任何报错 过滤前先把该列转换成日期类型
每个问题都重新扫描原始 CSV 每次运行都要重读全部数据 项目开始时一次性转换成 Parquet

先学什么

从惰性思维入手:理解 scan_ 与 read_ 的区别,尽早过滤和选择列,只在最后一步 collect。然后再学 Parquet 和流式执行。求职时,不要只在简历上写“熟悉 Polars”。

改写一行带数字的经历,例如在多大内存的机器上处理了多少 GB 数据、峰值内存降低了多少,再把对比用的 notebook 放到 GitHub 上。

一份有具体测量数据的对比,能让看简历的人知道你真正做过,这是一串关键词很难证明的。

你的笔记本不需要更强。你只需要养成习惯:只读取客户问题所需的数据。

这篇文章对你有帮助吗?

7 个信源
路线图上的下一篇 · 阶段 1: 基础认知用 jq 在终端里筛选、重塑客户 API 返回的 JSON客户问“超过 500 的失败订单有多少”,最快的答案可能只是一条命令,用不着打开 notebook。