# 客户数据一到手，用 DuckDB 赶在开会前查清楚

> 无需服务器、采用 MIT 许可，嵌入脚本即可运行，笔记本上也能处理数百 GB 的 CSV 和 Parquet。

原文: https://fdetimes.net/zh/tools/duckdb-query-client-csv-parquet-laptop/

客户刚发来一个文件夹，里面是导出的数据，有 CSV，也有 Parquet，只附了一个问题：“这些数据能用吗？”最好的回答是几条几分钟就能跑完的 SQL 查询，而不是一张申请基础设施的工单。

DuckDB 正是为这种场景而生。在 GOTO Amsterdam 2024 上，一位 DuckDB 工程师演示了这款工具如何在笔记本上直接读取 CSV 和 Parquet 文件，处理数百 GB 的数据。

对前线部署工程师（FDE）来说，这个数字的意义不在于它是不是纪录，而在于：上岗第一天，还没有人为你搭好集群，你就能在客户数据上跑出有意义的查询。

## 没有服务器，为什么反而是优势？

根据官方文档，DuckDB 不作为独立进程运行，而是嵌在调用它的应用程序里。GitHub 上的 duckdb/duckdb 仓库将其描述为一款面向分析工作的进程内 SQL 数据库管理系统，采用 MIT 许可发布。

因此，笔记本上不用装服务器，也没有需要维护的服务。如果客户的软件审批流程很严格，就在安装申请里写明这两点：嵌入式运行，许可证清晰。审批的人要看的东西会少很多。

## 第一个问题：这个文件里有什么？

最常用的功能是 `read_csv`。DuckDB 的 CSV 读取器会自动识别文件格式，推断每一列的类型，文档也建议先试这种自动方式。

假设客户发来 `orders.csv`，想看按月统计的收入。不需要声明 schema：

```sql
SELECT date_trunc('month', order_date) AS month,
       count(*) AS order_count,
       sum(amount) AS revenue
FROM read_csv('orders.csv')
GROUP BY month
ORDER BY month;
```

但嗅探器只读取文件开头连续的一段样本，默认 20,480 行。如果异常值出现在文件末尾附近，它就可能猜错某一列的类型。这关系到数字是否正确，而不只是速度问题。

所以，在任何数字放上幻灯片之前，先看看 DuckDB 给每一列定了什么类型。文档的做法分两步：先把文件加载成表，再运行 `DESCRIBE`。

```sql
CREATE TABLE orders AS SELECT * FROM read_csv('orders.csv');
DESCRIBE orders;
```

如果 `order_date` 显示为字符串，有三种修正办法。一是调大 `sample_size`，设为 `-1` 即读取整个文件。二是用 `types` 覆盖单个列的类型，嗅探器总是优先采用用户设定的选项。三是在 DuckDB 猜错日期或时间格式时，声明 `dateformat` 和 `timestampformat`。

## Parquet：只读需要的列

如果客户手里已经有 Parquet，事情就简单多了。查询 Parquet 文件时，DuckDB 只读取查询真正用到的列，过滤条件也会下推到文件扫描阶段。

设想一张有 200 列的交易表，而你的问题只用到 `customer_id`、`amount` 和 `created_at`。用 Parquet 时，只会读取这三列，`WHERE` 条件在读文件时就已生效。

```sql
SELECT customer_id, sum(amount)
FROM read_parquet('transactions.parquet')
WHERE created_at >= DATE '2024-01-01'
GROUP BY customer_id;
```

客户问你想要什么格式的数据时，就要 Parquet。如果手里只有 CSV，又要反复查询，就在一开始用 `COPY` 语句把它一次性转成 Parquet，该语句默认使用 Snappy 压缩。

**要点:** 搭建数据管道之前，先在自己的机器上用 SQL 向客户数据问几个问题。

## 文件比内存还大怎么办？

文件超过内存大小，并不是停下来的理由。DuckDB 的性能调优文档指出，超出内存的工作负载照样能跑，因为系统会把数据溢写到磁盘。文档还提到，DuckDB 有时会启动过多线程（例如受超线程影响），反而拖慢机器，这时可以用 `SET threads` 调整。

Mark Needham 提到，他在内存受限的容器里把 CSV 转成 Parquet 时，必须为 DuckDB 显式设置内存上限。在客户现场的笔记本或低内存虚拟机上也应如此，而且要设成低于实际空闲内存的值，而不是机器的总内存。

还有一点容易忽略：`COPY` 读取 CSV 时用的仍是上文那个嗅探器。如果某列类型猜错了，错误的类型就会固化进 Parquet 文件，之后的每一次查询都会继承这个错误。

所以，先运行 `DESCRIBE` 并修正类型，再把同样的选项带进转换语句。下面的示例假设机器只有大约 6 GB 空闲内存：

```sql
SET memory_limit = '4GB';
COPY (SELECT * FROM read_csv('events.csv', sample_size = -1))
TO 'events.parquet' (FORMAT parquet);
```

转换完成后，两边各数一遍行数。如果 CSV 和 Parquet 文件的 `count(*)` 对不上，先查明原因，再使用新文件。

## 最常见的两个错误是什么？

最危险的错误，是轻信嗅探器推断的类型，把一个实际上被当作字符串读取的日期列放上幻灯片。这会直接破坏你要展示的数字。避免的办法是运行 `DESCRIBE`；某列看起来不对劲时，调大 `sample_size` 或自己声明类型。

第二个错误只影响速度：反复查询一个大 CSV 文件，而不是一次性转成 Parquet。在低内存机器上，还要加上忘记设置 `memory_limit`，或任由太多线程同时运行。这会拖慢你，但不会让结果出错。

## 先学什么，简历上怎么写

按实际工作中遇到的顺序来学。先掌握 `read_csv`，养成运行 `DESCRIBE` 的习惯，同时学会 `sample_size`、`types` 和 `dateformat` 这几个选项。接着是 Parquet 以及它为什么快，最后是应对大文件时用到的 `COPY`、`memory_limit` 和 `threads`。

最快的练习方法，是拿一个公开文件把整个流程走一遍：查询 CSV，核对列类型，转成 Parquet，比对行数，再比较运行时间。

简历上不要只在技能栏里写一个“DuckDB”。要写清楚用它做成了什么：数据有多乱，回答了什么问题，多久拿到答案。

比如“在笔记本上把 50 GB 的 CSV 转成 Parquet，当天下午就回答了客户的收入问题”，再配上一个别人可以验证的小仓库，比一长串工具名有说服力得多。

下次客户再发来一个导出文件夹，别急着申请基础设施：打开 DuckDB，运行 `DESCRIBE`，带着一个亲自核对过数据类型的数字去开会。

**本周动手试试:**

- 找一个较大的公开 CSV 文件，用 read_csv 加载，运行 DESCRIBE 查看每一列的类型，再试试 sample_size = -1，看结果是否变化
- 用 COPY 把同一个文件转成 Parquet，在两种格式上运行同一条查询，比较耗时
- 把整个过程写成 README 或简历里的一小段：数据有多少 GB，问了什么问题，多久拿到答案

## 信源

- [Why DuckDB](https://duckdb.org/why_duckdb)

- [GitHub - duckdb/duckdb](https://github.com/duckdb/duckdb)

- [CSV Import](https://duckdb.org/docs/current/data/csv/overview.html)

- [DuckDB's CSV Sniffer: Automatic Detection of Types and Dialects](https://duckdb.org/2023/10/27/csv-sniffer.html)

- [CSV Tips (DuckDB documentation)](https://duckdb.org/docs/current/data/csv/tips.html)

- [CSV Auto Detection](https://duckdb.org/docs/current/data/csv/auto_detection)

- [Reading and Writing Parquet Files](https://duckdb.org/docs/current/data/parquet/overview.html)

- [Tuning Workloads](https://duckdb.org/docs/current/guides/performance/how_to_tune_workloads)

- [DuckDB: Crunching Data Anywhere, From Laptops to Servers (GOTO Amsterdam 2024)](https://gotopia.tech/sessions/3114/duckdb-crunching-data-anywhere-from-laptops-to-servers)

- [Exporting CSV files to Parquet file format with Pandas, Polars, and DuckDB](https://markhneedham.com/blog/2023/01/06/export-csv-parquet-pandas-polars-duckdb)
