客户数据一到手,用 DuckDB 赶在开会前查清楚
无需服务器、采用 MIT 许可,嵌入脚本即可运行,笔记本上也能处理数百 GB 的 CSV 和 Parquet。
要点速览
- DuckDB 嵌入应用程序运行,无需服务器,采用 MIT 许可,在客户现场使用的笔记本上很容易获准安装
- read_csv 会自动推断文件格式和列类型,但只依据一部分数据样本,所以在相信任何数字之前,先核对它的推断
- 使用 Parquet 时,DuckDB 只读取查询需要的列。用 COPY 把 CSV 一次性转成 Parquet;机器内存紧张时,记得设置内存上限
客户刚发来一个文件夹,里面是导出的数据,有 CSV,也有 Parquet,只附了一个问题:“这些数据能用吗?”最好的回答是几条几分钟就能跑完的 SQL 查询,而不是一张申请基础设施的工单。
DuckDB 正是为这种场景而生。在 GOTO Amsterdam 2024 上,一位 DuckDB 工程师演示了这款工具如何在笔记本上直接读取 CSV 和 Parquet 文件,处理数百 GB 的数据。
对前线部署工程师(FDE)来说,这个数字的意义不在于它是不是纪录,而在于:上岗第一天,还没有人为你搭好集群,你就能在客户数据上跑出有意义的查询。
没有服务器,为什么反而是优势?
根据官方文档,DuckDB 不作为独立进程运行,而是嵌在调用它的应用程序里。GitHub 上的 duckdb/duckdb 仓库将其描述为一款面向分析工作的进程内 SQL 数据库管理系统,采用 MIT 许可发布。
因此,笔记本上不用装服务器,也没有需要维护的服务。如果客户的软件审批流程很严格,就在安装申请里写明这两点:嵌入式运行,许可证清晰。审批的人要看的东西会少很多。
第一个问题:这个文件里有什么?
最常用的功能是 read_csv。DuckDB 的 CSV 读取器会自动识别文件格式,推断每一列的类型,文档也建议先试这种自动方式。
假设客户发来 orders.csv,想看按月统计的收入。不需要声明 schema:
SELECT date_trunc('month', order_date) AS month,
count(*) AS order_count,
sum(amount) AS revenue
FROM read_csv('orders.csv')
GROUP BY month
ORDER BY month;
但嗅探器只读取文件开头连续的一段样本,默认 20,480 行。如果异常值出现在文件末尾附近,它就可能猜错某一列的类型。这关系到数字是否正确,而不只是速度问题。
所以,在任何数字放上幻灯片之前,先看看 DuckDB 给每一列定了什么类型。文档的做法分两步:先把文件加载成表,再运行 DESCRIBE。
CREATE TABLE orders AS SELECT * FROM read_csv('orders.csv');
DESCRIBE orders;
如果 order_date 显示为字符串,有三种修正办法。一是调大 sample_size,设为 -1 即读取整个文件。二是用 types 覆盖单个列的类型,嗅探器总是优先采用用户设定的选项。三是在 DuckDB 猜错日期或时间格式时,声明 dateformat 和 timestampformat。
Parquet:只读需要的列
如果客户手里已经有 Parquet,事情就简单多了。查询 Parquet 文件时,DuckDB 只读取查询真正用到的列,过滤条件也会下推到文件扫描阶段。
设想一张有 200 列的交易表,而你的问题只用到 customer_id、amount 和 created_at。用 Parquet 时,只会读取这三列,WHERE 条件在读文件时就已生效。
SELECT customer_id, sum(amount)
FROM read_parquet('transactions.parquet')
WHERE created_at >= DATE '2024-01-01'
GROUP BY customer_id;
客户问你想要什么格式的数据时,就要 Parquet。如果手里只有 CSV,又要反复查询,就在一开始用 COPY 语句把它一次性转成 Parquet,该语句默认使用 Snappy 压缩。
文件比内存还大怎么办?
文件超过内存大小,并不是停下来的理由。DuckDB 的性能调优文档指出,超出内存的工作负载照样能跑,因为系统会把数据溢写到磁盘。文档还提到,DuckDB 有时会启动过多线程(例如受超线程影响),反而拖慢机器,这时可以用 SET threads 调整。
Mark Needham 提到,他在内存受限的容器里把 CSV 转成 Parquet 时,必须为 DuckDB 显式设置内存上限。在客户现场的笔记本或低内存虚拟机上也应如此,而且要设成低于实际空闲内存的值,而不是机器的总内存。
还有一点容易忽略:COPY 读取 CSV 时用的仍是上文那个嗅探器。如果某列类型猜错了,错误的类型就会固化进 Parquet 文件,之后的每一次查询都会继承这个错误。
所以,先运行 DESCRIBE 并修正类型,再把同样的选项带进转换语句。下面的示例假设机器只有大约 6 GB 空闲内存:
SET memory_limit = '4GB';
COPY (SELECT * FROM read_csv('events.csv', sample_size = -1))
TO 'events.parquet' (FORMAT parquet);
转换完成后,两边各数一遍行数。如果 CSV 和 Parquet 文件的 count(*) 对不上,先查明原因,再使用新文件。
最常见的两个错误是什么?
最危险的错误,是轻信嗅探器推断的类型,把一个实际上被当作字符串读取的日期列放上幻灯片。这会直接破坏你要展示的数字。避免的办法是运行 DESCRIBE;某列看起来不对劲时,调大 sample_size 或自己声明类型。
第二个错误只影响速度:反复查询一个大 CSV 文件,而不是一次性转成 Parquet。在低内存机器上,还要加上忘记设置 memory_limit,或任由太多线程同时运行。这会拖慢你,但不会让结果出错。
先学什么,简历上怎么写
按实际工作中遇到的顺序来学。先掌握 read_csv,养成运行 DESCRIBE 的习惯,同时学会 sample_size、types 和 dateformat 这几个选项。接着是 Parquet 以及它为什么快,最后是应对大文件时用到的 COPY、memory_limit 和 threads。
最快的练习方法,是拿一个公开文件把整个流程走一遍:查询 CSV,核对列类型,转成 Parquet,比对行数,再比较运行时间。
简历上不要只在技能栏里写一个“DuckDB”。要写清楚用它做成了什么:数据有多乱,回答了什么问题,多久拿到答案。
比如“在笔记本上把 50 GB 的 CSV 转成 Parquet,当天下午就回答了客户的收入问题”,再配上一个别人可以验证的小仓库,比一长串工具名有说服力得多。
下次客户再发来一个导出文件夹,别急着申请基础设施:打开 DuckDB,运行 DESCRIBE,带着一个亲自核对过数据类型的数字去开会。
这篇文章对你有帮助吗?
感谢你的反馈!
10 个信源
- Why DuckDB
- GitHub - duckdb/duckdb
- CSV Import
- DuckDB's CSV Sniffer: Automatic Detection of Types and Dialects · 2023-10-27
- CSV Tips (DuckDB documentation)
- CSV Auto Detection
- Reading and Writing Parquet Files
- Tuning Workloads
- DuckDB: Crunching Data Anywhere, From Laptops to Servers (GOTO Amsterdam 2024) · 2024
- Exporting CSV files to Parquet file format with Pandas, Polars, and DuckDB · 2023-01-06