FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

Databricks 面试那道简单 SQL 题是追问良机

60 分钟练四种 SQL 写法和一段 Python 脏 JSON 解析,顺带撞上 json 模块从不报出的两个错误。

分享微博

要点速览

  • Databricks 的 FDE 技术面时长 45–60 分钟,通过视频进行,由许多短题组成,熟悉的写法必须写得快。
  • COUNT(列) 会跳过 NULL,COUNT(*) 统计所有行。SQL 里的每一项数据质量检查都从这个差别开始。
  • json.loads 遇到重复键或 NaN 不会报错。解析成功不等于数据正确。
表格对比第 5 步中的四行 JSON。使用默认的 json.loads 时,合法行正常解析,截断行报错,但含 NaN 的行和含重复键的行都没有报错就通过了。加上检查(用 object_pairs_hook 捕获重复键,用 amt != amt 比较捕获 NaN)后,结果是 1 行合法、1 行标记为 NaN、2 行报错。
Python 的 json 模块默认接受 NaN,遇到重复键时保留最后一个值,因此有两行坏数据没有报错就通过了。加上检查重复键的 hook 和 NaN 测试后,两行都能捕获。橙色:漏掉;绿色:检查后新捕获;米色:不变。来源:文中引用的 Python json 模块文档。

在 Databricks,前线部署工程师(FDE)岗位的技术面只有 45 到 60 分钟。这段时间被拆成许多短题,全程通过视频远程进行。按这个节奏,几乎没有时间查语法。

Aced 的面试指南给出了这一轮的一道 SQL 样题:写一条查询,返回交易次数超过一次的用户。题目很简单。正因为简单,才留出了空间去问 NULL、重复记录和输入数据的格式,而不是敲完答案就停手。

本文是一套分六步、共 60 分钟的练习。你要写四种 SQL 写法,再写一段读取脏 JSON 的简短 Python 脚本。练习过程中,会碰到 Python json 模块从不报告的两类错误。

开始计时前要准备什么?

需要 Python 3,以及一个支持窗口函数的数据库,例如 PostgreSQL。建一张名为 transactions 的示例表,包含 user_id、txn_id、email、amount 和 created_at 几列,插入大约二十行数据。故意加几行 txn_id 重复的数据,再加几行 email 为 NULL 的数据。

数据是编的,但必须刻意弄脏。表太干净,对这场面试毫无训练价值,也和工作中遇到的数据毫不相像。

第 1–2 步:先数对,再数快

第 1 步(10 分钟)。 解出 Databricks 的样题:

SELECT user_id, COUNT(*) AS n_txn
FROM transactions
GROUP BY user_id
HAVING COUNT(*) > 1;

检查:手工核对结果是否与你故意设置了多笔交易的用户数一致。然后问自己:如果同一个 txn_id 被记录了两次,这个用户会不会被误算成“交易超过一次”?会。第 3 步解决这个问题。

第 2 步(10 分钟)。 计算 NULL 比例。SQLite 文档写得很明确:COUNT(X) 只统计 X 不为 NULL 的行,COUNT(*) 统计组内所有行。两者相减,就是缺失数据的行数。

SELECT COUNT(*)                AS total_rows,
       COUNT(email)            AS has_email,
       COUNT(*) - COUNT(email) AS missing_email
FROM transactions;

假设表中有 1,000 行,其中 940 行有 email,那么有 60 行没有,占 6%。不要停在这个数字上,接着说明这 6% 会不会影响后续步骤里的某项计算。

第 3–4 步:什么时候需要窗口函数?

第 3 步(10 分钟)。 去重。根据 PostgreSQL 文档,ROW_NUMBER 在每个分区内从 1 开始给行编号。按业务键分区,按时间倒序排列,然后保留第 1 行,也就是最新的那条记录。

WITH ranked AS (
  SELECT *,
         ROW_NUMBER() OVER (
           PARTITION BY txn_id
           ORDER BY created_at DESC
         ) AS rn
  FROM transactions
)
SELECT * FROM ranked WHERE rn = 1;

检查:返回的行数必须等于原表上的 COUNT(DISTINCT txn_id)。再在这个 CTE 上重跑第 1 步,把两次结果并排对比。面试官会看到你在主动验证自己的答案。

第 4 步(10 分钟)。 分组取 top-N。要点在于如何处理并列。RANK 在一组并列行之后会跳号;DENSE_RANK 按并列组计数,不跳号。

WITH ranked AS (
  SELECT user_id, txn_id, amount,
         RANK() OVER (
           PARTITION BY user_id ORDER BY amount DESC
         ) AS rnk,
         DENSE_RANK() OVER (
           PARTITION BY user_id ORDER BY amount DESC
         ) AS drnk
  FROM transactions
)
SELECT * FROM ranked WHERE rnk <= 2;

对一个有三笔交易的用户,两列结果如下:

amount RANK DENSE_RANK
100 1 1
100 1 1
90 3 2

假设题目是“返回每个用户金额最高的两笔交易”。按 rnk <= 2 过滤,返回两行 100;改成 drnk <= 2,三行全部返回。两者都谈不上绝对正确,所以好的回答是问面试官希望怎样处理并列。

第 5 步:脏 JSON 不能让循环崩溃

根据 Python 文档,json.loads 接收一个包含 JSON 文档的 str、bytes 或 bytearray,返回一个 Python 对象。如果数据不是合法的 JSON,它会抛出 JSONDecodeError,这是 ValueError 的子类。因此只要读取外部数据,就要包在 try/except 里。

import json

lines = [
    '{"user_id": 1, "amount": 20.5}',
    '{"user_id": 2, "amount": NaN}',
    '{"user_id": 3, "user_id": 4, "amount": 5}',
    '{"user_id": 5, "amount": ',
]

good, bad = [], []
for i, line in enumerate(lines):
    try:
        good.append(json.loads(line))
    except json.JSONDecodeError as e:
        bad.append((i, str(e)))

print(len(good), len(bad))

检查:你会看到 3 行“好”数据和 1 行坏数据,坏的是最后那行被截断的。记下行号和错误信息,不要只写 pass。客户会想知道到底是哪几行坏了。

第 6 步:为什么“3 行好数据”是错的?

把 good 打印出来看看。第二行的 amount 是 nan。原因在于:根据 Python 文档,json 模块默认把 Infinity、-Infinity 和 NaN 当作合法的 JSON 数字接受,尽管 JSON 标准并不允许。第三行的 user_id 是 4,因为模块遇到重复键时不会报错,只保留最后一个名值对。

捕获 NaN 不需要额外的库,因为 NaN 是唯一不等于自身的值:

for rec in good:
    amt = rec.get("amount")
    if isinstance(amt, float) and amt != amt:
        print("发现 NaN:", rec)

重复键更难发现,因为数据一旦变成 dict,旧值就没了。下面的版本做了简化,但用来练习足够:

def no_dup_keys(pairs):
    keys = [k for k, _ in pairs]
    if len(keys) != len(set(keys)):
        raise ValueError(f"存在重复的键:{keys}")
    return dict(pairs)

json.loads(line, object_pairs_hook=no_dup_keys)

如果把这个 hook 加进第 5 步的循环,要把 except json.JSONDecodeError 改成 except ValueError。由于 JSONDecodeError 是 ValueError 的子类,一个 except 块就能同时捕获截断的行和含重复键的行。再跑一次,会看到 2 行好数据、2 行坏数据,而 NaN 那一行由上面的检查单独捕获。

会做也容易失手的地方

一个常见错误是想数行数却用了 COUNT(email),或者反过来,于是在不知情的情况下报出错误的数字。另一个是对所有列用 DISTINCT 去重:txn_id 相同的两条记录通常 created_at 不同,DISTINCT 合并不了它们。第三个是用空的 except 块把 JSONDecodeError 吞掉。

还有一个风险不在代码里:沉默。面试通过视频进行,你不说出来,面试官就不知道你在想什么。动手敲代码之前,先说出你的假设。

到了客户现场,这是第一周的活

这六步不只是为了面试。客户发来第一份导出文件时,在搭建任何数据管道或 Agent 之前,先做三件事:跑一遍 NULL 比例,按业务键统计重复记录,试读一遍 JSON 文件拿到坏行清单。

手里有了这三个数字,和客户数据团队的第一次会议谈的就是真实数据,而不是猜测。

简历上不要写“精通 SQL”。写一句具体的话,比如“在数据进入报表前,按交易 ID 发现并清除重复记录”,并附上你自己项目里的真实数字。

ROW_NUMBER 的语法一分钟就能查到。赶在客户怀疑你之前先怀疑数据,这个习惯得靠练,这 60 分钟就是用来练它的。

这篇文章对你有帮助吗?

4 个信源
路线图上的下一篇 · 阶段 6: 价值度量智能体出错时,审计日志却记在提问的人头上按 RFC 8693 把触发用户和受托智能体分开记录,日志才能说清哪个工具用什么参数运行。