# Databricks 面试那道简单 SQL 题是追问良机

> 60 分钟练四种 SQL 写法和一段 Python 脏 JSON 解析，顺带撞上 json 模块从不报出的两个错误。

原文: https://fdetimes.net/zh/guides/fde-technical-screen-sql-json-python/

在 Databricks，前线部署工程师（FDE）岗位的技术面只有 45 到 60 分钟。这段时间被拆成许多短题，全程通过视频远程进行。按这个节奏，几乎没有时间查语法。

Aced 的面试指南给出了这一轮的一道 SQL 样题：写一条查询，返回交易次数超过一次的用户。题目很简单。正因为简单，才留出了空间去问 NULL、重复记录和输入数据的格式，而不是敲完答案就停手。

本文是一套分六步、共 60 分钟的练习。你要写四种 SQL 写法，再写一段读取脏 JSON 的简短 Python 脚本。练习过程中，会碰到 Python json 模块从不报告的两类错误。

## 开始计时前要准备什么？

需要 Python 3，以及一个支持窗口函数的数据库，例如 PostgreSQL。建一张名为 `transactions` 的示例表，包含 `user_id`、`txn_id`、`email`、`amount` 和 `created_at` 几列，插入大约二十行数据。故意加几行 `txn_id` 重复的数据，再加几行 `email` 为 NULL 的数据。

数据是编的，但必须刻意弄脏。表太干净，对这场面试毫无训练价值，也和工作中遇到的数据毫不相像。

## 第 1–2 步：先数对，再数快

**第 1 步（10 分钟）。** 解出 Databricks 的样题：

```sql
SELECT user_id, COUNT(*) AS n_txn
FROM transactions
GROUP BY user_id
HAVING COUNT(*) > 1;
```

检查：手工核对结果是否与你故意设置了多笔交易的用户数一致。然后问自己：如果同一个 `txn_id` 被记录了两次，这个用户会不会被误算成“交易超过一次”？会。第 3 步解决这个问题。

**第 2 步（10 分钟）。** 计算 NULL 比例。SQLite 文档写得很明确：`COUNT(X)` 只统计 X 不为 NULL 的行，`COUNT(*)` 统计组内所有行。两者相减，就是缺失数据的行数。

```sql
SELECT COUNT(*)                AS total_rows,
       COUNT(email)            AS has_email,
       COUNT(*) - COUNT(email) AS missing_email
FROM transactions;
```

假设表中有 1,000 行，其中 940 行有 email，那么有 60 行没有，占 6%。不要停在这个数字上，接着说明这 6% 会不会影响后续步骤里的某项计算。

## 第 3–4 步：什么时候需要窗口函数？

**第 3 步（10 分钟）。** 去重。根据 PostgreSQL 文档，`ROW_NUMBER` 在每个分区内从 1 开始给行编号。按业务键分区，按时间倒序排列，然后保留第 1 行，也就是最新的那条记录。

```sql
WITH ranked AS (
  SELECT *,
         ROW_NUMBER() OVER (
           PARTITION BY txn_id
           ORDER BY created_at DESC
         ) AS rn
  FROM transactions
)
SELECT * FROM ranked WHERE rn = 1;
```

检查：返回的行数必须等于原表上的 `COUNT(DISTINCT txn_id)`。再在这个 CTE 上重跑第 1 步，把两次结果并排对比。面试官会看到你在主动验证自己的答案。

**第 4 步（10 分钟）。** 分组取 top-N。要点在于如何处理并列。`RANK` 在一组并列行之后会跳号；`DENSE_RANK` 按并列组计数，不跳号。

```sql
WITH ranked AS (
  SELECT user_id, txn_id, amount,
         RANK() OVER (
           PARTITION BY user_id ORDER BY amount DESC
         ) AS rnk,
         DENSE_RANK() OVER (
           PARTITION BY user_id ORDER BY amount DESC
         ) AS drnk
  FROM transactions
)
SELECT * FROM ranked WHERE rnk <= 2;
```

对一个有三笔交易的用户，两列结果如下：

| amount | RANK | DENSE_RANK |
|---|---|---|
| 100 | 1 | 1 |
| 100 | 1 | 1 |
| 90 | 3 | 2 |

假设题目是“返回每个用户金额最高的两笔交易”。按 `rnk <= 2` 过滤，返回两行 100；改成 `drnk <= 2`，三行全部返回。两者都谈不上绝对正确，所以好的回答是问面试官希望怎样处理并列。

## 第 5 步：脏 JSON 不能让循环崩溃

根据 Python 文档，`json.loads` 接收一个包含 JSON 文档的 `str`、`bytes` 或 `bytearray`，返回一个 Python 对象。如果数据不是合法的 JSON，它会抛出 `JSONDecodeError`，这是 `ValueError` 的子类。因此只要读取外部数据，就要包在 try/except 里。

```python
import json

lines = [
    '{"user_id": 1, "amount": 20.5}',
    '{"user_id": 2, "amount": NaN}',
    '{"user_id": 3, "user_id": 4, "amount": 5}',
    '{"user_id": 5, "amount": ',
]

good, bad = [], []
for i, line in enumerate(lines):
    try:
        good.append(json.loads(line))
    except json.JSONDecodeError as e:
        bad.append((i, str(e)))

print(len(good), len(bad))
```

检查：你会看到 3 行“好”数据和 1 行坏数据，坏的是最后那行被截断的。记下行号和错误信息，不要只写 `pass`。客户会想知道到底是哪几行坏了。

## 第 6 步：为什么“3 行好数据”是错的？

把 `good` 打印出来看看。第二行的 `amount` 是 `nan`。原因在于：根据 Python 文档，json 模块默认把 `Infinity`、`-Infinity` 和 `NaN` 当作合法的 JSON 数字接受，尽管 JSON 标准并不允许。第三行的 `user_id` 是 4，因为模块遇到重复键时不会报错，只保留最后一个名值对。

**要点:** 解析成功不等于数据正确。

捕获 NaN 不需要额外的库，因为 NaN 是唯一不等于自身的值：

```python
for rec in good:
    amt = rec.get("amount")
    if isinstance(amt, float) and amt != amt:
        print("发现 NaN：", rec)
```

重复键更难发现，因为数据一旦变成 dict，旧值就没了。下面的版本做了简化，但用来练习足够：

```python
def no_dup_keys(pairs):
    keys = [k for k, _ in pairs]
    if len(keys) != len(set(keys)):
        raise ValueError(f"存在重复的键：{keys}")
    return dict(pairs)

json.loads(line, object_pairs_hook=no_dup_keys)
```

如果把这个 hook 加进第 5 步的循环，要把 `except json.JSONDecodeError` 改成 `except ValueError`。由于 `JSONDecodeError` 是 `ValueError` 的子类，一个 except 块就能同时捕获截断的行和含重复键的行。再跑一次，会看到 2 行好数据、2 行坏数据，而 NaN 那一行由上面的检查单独捕获。

## 会做也容易失手的地方

一个常见错误是想数行数却用了 `COUNT(email)`，或者反过来，于是在不知情的情况下报出错误的数字。另一个是对所有列用 `DISTINCT` 去重：`txn_id` 相同的两条记录通常 `created_at` 不同，`DISTINCT` 合并不了它们。第三个是用空的 `except` 块把 `JSONDecodeError` 吞掉。

还有一个风险不在代码里：沉默。面试通过视频进行，你不说出来，面试官就不知道你在想什么。动手敲代码之前，先说出你的假设。

## 到了客户现场，这是第一周的活

这六步不只是为了面试。客户发来第一份导出文件时，在搭建任何数据管道或 Agent 之前，先做三件事：跑一遍 NULL 比例，按业务键统计重复记录，试读一遍 JSON 文件拿到坏行清单。

手里有了这三个数字，和客户数据团队的第一次会议谈的就是真实数据，而不是猜测。

简历上不要写“精通 SQL”。写一句具体的话，比如“在数据进入报表前，按交易 ID 发现并清除重复记录”，并附上你自己项目里的真实数字。

`ROW_NUMBER` 的语法一分钟就能查到。赶在客户怀疑你之前先怀疑数据，这个习惯得靠练，这 60 分钟就是用来练它的。

**本周动手试试:**

- 定一个 60 分钟的计时器，在支持窗口函数的数据库上完成全部六步。边做边把思路说出来，就像在和面试官视频通话。
- 写一个 Python 函数，逐行读取 JSON 文件，返回带行号的坏行清单。放到 GitHub 上，并在 README 里说明重复键和 NaN 这两个陷阱。
- 从工作或个人项目里找一张数据表，对每个重要列跑一遍 NULL 比例查询，用三句话写下结果。

## 信源

- [Databricks Forward Deployed Engineer Interview Guide | Sample Questions (2026) - Aced (formerly Exponent)](https://www.aced.io/guides/databricks-forward-deployed-engineer-interview)

- [json — JSON encoder and decoder — Python 3.15.2 documentation](https://docs.python.org/3/library/json.html)

- [Built-in Aggregate Functions](https://www.sqlite.org/lang_aggfunc.html)

- [PostgreSQL: Documentation: 18: 9.22. Window Functions](https://www.postgresql.org/docs/current/functions-window.html)
