Databricks 面试那道简单 SQL 题是追问良机
60 分钟练四种 SQL 写法和一段 Python 脏 JSON 解析,顺带撞上 json 模块从不报出的两个错误。
要点速览
- Databricks 的 FDE 技术面时长 45–60 分钟,通过视频进行,由许多短题组成,熟悉的写法必须写得快。
- COUNT(列) 会跳过 NULL,COUNT(*) 统计所有行。SQL 里的每一项数据质量检查都从这个差别开始。
- json.loads 遇到重复键或 NaN 不会报错。解析成功不等于数据正确。
在 Databricks,前线部署工程师(FDE)岗位的技术面只有 45 到 60 分钟。这段时间被拆成许多短题,全程通过视频远程进行。按这个节奏,几乎没有时间查语法。
Aced 的面试指南给出了这一轮的一道 SQL 样题:写一条查询,返回交易次数超过一次的用户。题目很简单。正因为简单,才留出了空间去问 NULL、重复记录和输入数据的格式,而不是敲完答案就停手。
本文是一套分六步、共 60 分钟的练习。你要写四种 SQL 写法,再写一段读取脏 JSON 的简短 Python 脚本。练习过程中,会碰到 Python json 模块从不报告的两类错误。
开始计时前要准备什么?
需要 Python 3,以及一个支持窗口函数的数据库,例如 PostgreSQL。建一张名为 transactions 的示例表,包含 user_id、txn_id、email、amount 和 created_at 几列,插入大约二十行数据。故意加几行 txn_id 重复的数据,再加几行 email 为 NULL 的数据。
数据是编的,但必须刻意弄脏。表太干净,对这场面试毫无训练价值,也和工作中遇到的数据毫不相像。
第 1–2 步:先数对,再数快
第 1 步(10 分钟)。 解出 Databricks 的样题:
SELECT user_id, COUNT(*) AS n_txn
FROM transactions
GROUP BY user_id
HAVING COUNT(*) > 1;
检查:手工核对结果是否与你故意设置了多笔交易的用户数一致。然后问自己:如果同一个 txn_id 被记录了两次,这个用户会不会被误算成“交易超过一次”?会。第 3 步解决这个问题。
第 2 步(10 分钟)。 计算 NULL 比例。SQLite 文档写得很明确:COUNT(X) 只统计 X 不为 NULL 的行,COUNT(*) 统计组内所有行。两者相减,就是缺失数据的行数。
SELECT COUNT(*) AS total_rows,
COUNT(email) AS has_email,
COUNT(*) - COUNT(email) AS missing_email
FROM transactions;
假设表中有 1,000 行,其中 940 行有 email,那么有 60 行没有,占 6%。不要停在这个数字上,接着说明这 6% 会不会影响后续步骤里的某项计算。
第 3–4 步:什么时候需要窗口函数?
第 3 步(10 分钟)。 去重。根据 PostgreSQL 文档,ROW_NUMBER 在每个分区内从 1 开始给行编号。按业务键分区,按时间倒序排列,然后保留第 1 行,也就是最新的那条记录。
WITH ranked AS (
SELECT *,
ROW_NUMBER() OVER (
PARTITION BY txn_id
ORDER BY created_at DESC
) AS rn
FROM transactions
)
SELECT * FROM ranked WHERE rn = 1;
检查:返回的行数必须等于原表上的 COUNT(DISTINCT txn_id)。再在这个 CTE 上重跑第 1 步,把两次结果并排对比。面试官会看到你在主动验证自己的答案。
第 4 步(10 分钟)。 分组取 top-N。要点在于如何处理并列。RANK 在一组并列行之后会跳号;DENSE_RANK 按并列组计数,不跳号。
WITH ranked AS (
SELECT user_id, txn_id, amount,
RANK() OVER (
PARTITION BY user_id ORDER BY amount DESC
) AS rnk,
DENSE_RANK() OVER (
PARTITION BY user_id ORDER BY amount DESC
) AS drnk
FROM transactions
)
SELECT * FROM ranked WHERE rnk <= 2;
对一个有三笔交易的用户,两列结果如下:
| amount | RANK | DENSE_RANK |
|---|---|---|
| 100 | 1 | 1 |
| 100 | 1 | 1 |
| 90 | 3 | 2 |
假设题目是“返回每个用户金额最高的两笔交易”。按 rnk <= 2 过滤,返回两行 100;改成 drnk <= 2,三行全部返回。两者都谈不上绝对正确,所以好的回答是问面试官希望怎样处理并列。
第 5 步:脏 JSON 不能让循环崩溃
根据 Python 文档,json.loads 接收一个包含 JSON 文档的 str、bytes 或 bytearray,返回一个 Python 对象。如果数据不是合法的 JSON,它会抛出 JSONDecodeError,这是 ValueError 的子类。因此只要读取外部数据,就要包在 try/except 里。
import json
lines = [
'{"user_id": 1, "amount": 20.5}',
'{"user_id": 2, "amount": NaN}',
'{"user_id": 3, "user_id": 4, "amount": 5}',
'{"user_id": 5, "amount": ',
]
good, bad = [], []
for i, line in enumerate(lines):
try:
good.append(json.loads(line))
except json.JSONDecodeError as e:
bad.append((i, str(e)))
print(len(good), len(bad))
检查:你会看到 3 行“好”数据和 1 行坏数据,坏的是最后那行被截断的。记下行号和错误信息,不要只写 pass。客户会想知道到底是哪几行坏了。
第 6 步:为什么“3 行好数据”是错的?
把 good 打印出来看看。第二行的 amount 是 nan。原因在于:根据 Python 文档,json 模块默认把 Infinity、-Infinity 和 NaN 当作合法的 JSON 数字接受,尽管 JSON 标准并不允许。第三行的 user_id 是 4,因为模块遇到重复键时不会报错,只保留最后一个名值对。
捕获 NaN 不需要额外的库,因为 NaN 是唯一不等于自身的值:
for rec in good:
amt = rec.get("amount")
if isinstance(amt, float) and amt != amt:
print("发现 NaN:", rec)
重复键更难发现,因为数据一旦变成 dict,旧值就没了。下面的版本做了简化,但用来练习足够:
def no_dup_keys(pairs):
keys = [k for k, _ in pairs]
if len(keys) != len(set(keys)):
raise ValueError(f"存在重复的键:{keys}")
return dict(pairs)
json.loads(line, object_pairs_hook=no_dup_keys)
如果把这个 hook 加进第 5 步的循环,要把 except json.JSONDecodeError 改成 except ValueError。由于 JSONDecodeError 是 ValueError 的子类,一个 except 块就能同时捕获截断的行和含重复键的行。再跑一次,会看到 2 行好数据、2 行坏数据,而 NaN 那一行由上面的检查单独捕获。
会做也容易失手的地方
一个常见错误是想数行数却用了 COUNT(email),或者反过来,于是在不知情的情况下报出错误的数字。另一个是对所有列用 DISTINCT 去重:txn_id 相同的两条记录通常 created_at 不同,DISTINCT 合并不了它们。第三个是用空的 except 块把 JSONDecodeError 吞掉。
还有一个风险不在代码里:沉默。面试通过视频进行,你不说出来,面试官就不知道你在想什么。动手敲代码之前,先说出你的假设。
到了客户现场,这是第一周的活
这六步不只是为了面试。客户发来第一份导出文件时,在搭建任何数据管道或 Agent 之前,先做三件事:跑一遍 NULL 比例,按业务键统计重复记录,试读一遍 JSON 文件拿到坏行清单。
手里有了这三个数字,和客户数据团队的第一次会议谈的就是真实数据,而不是猜测。
简历上不要写“精通 SQL”。写一句具体的话,比如“在数据进入报表前,按交易 ID 发现并清除重复记录”,并附上你自己项目里的真实数字。
ROW_NUMBER 的语法一分钟就能查到。赶在客户怀疑你之前先怀疑数据,这个习惯得靠练,这 60 分钟就是用来练它的。
这篇文章对你有帮助吗?
感谢你的反馈!