# 客户现场的第一条 SQL，跑通了也可能是错的

> 一个悄悄重复计数订单的 JOIN，说明了 FDE 岗位为何把 Python 和 SQL 当底线、把先查键当习惯。

原文: https://fdetimes.net/zh/guides/python-sql-for-fdes-check-joins/

周一，你拿到了客户 Postgres 数据库的只读权限。中午，对方销售负责人要一份按区域统计的营收。你在 `orders` 和 `customers` 两张表之间写了一个 JOIN，三秒跑完，把结果发了过去。

下午电话打回来了：你表里的总营收比财务的数字高。查询没有语法错误，也没有报任何错。它只是把一部分订单算了两遍，而且谁也没告诉。

正因为有这类情况，Python 和 SQL 被视为前线部署工程师（FDE）工作的底线。你不需要掌握一长串框架。你需要的是一个习惯：先检查数据，再相信数据；以及足够的能力，把这些检查写成可以反复运行的代码。

## 岗位描述怎么说这条底线？

Capicua 把 FDE 的工作描述为编写直接运行在客户基础设施和数据上的生产代码。招聘启事的方向一致，差别主要在于是否点名 SQL。

Databricks 在新加坡 Sr. FDE 岗位的要求中明确列出了 Python 和 SQL，同时希望 FDE 能把 OpenAI、Anthropic、Gemini 等 AI API 集成到应用中。Palantir 要求熟练掌握 Python、Java 或 C++ 等一门语言，并点名用 Python 做数据处理和分析，但没有提到 SQL。

不过，Palantir 的另一则招聘提到了 Postgres、Cassandra、Hadoop 和 Spark。Paraform 的概括是：一门后端语言，加上快速拉取和整理数据的能力。

读岗位描述时，留意“拉取和整理数据”“数据处理”这类说法，或者 Postgres、Spark 这类具体系统。它们意味着你要直接面对真实数据。就连 AI API 集成也建立在数据之上，数据错了，产品也会错。

关键词是“客户的”：这些数据是别人设计的，你也不知道它被多少代系统改过。

## 为什么 SQL 首先是检查工具？

HCL GUVI 称 SQL 是 FDE 最实用的技能之一。理由是客户环境里充斥着各种数据库、业务记录和不一致的数据。它还提醒，一个写错的 JOIN 可能制造重复记录，或者悄无声息地抹掉重要信息。

它的建议是：调查客户数据，而不是默认相信它。

所以 FDE 的 SQL 有两项任务。第一项是质疑数据：键真的唯一吗？JOIN 会不会让行数膨胀？有没有行被丢掉？做完这些，才轮到回答业务问题。

## 示例：拆解一个虚高的营收数字

回到周一下午。假设 `customers` 表有 `customer_id`、`region` 和 `updated_at` 三列。第一个问题是：`customer_id` 真的是唯一键吗？（下面的列别名含义：`row_count` 为行数，`customer_count` 为客户数，`record_count` 为记录数。）

```sql
-- 1. 键是否唯一？
SELECT COUNT(*) AS row_count,
       COUNT(DISTINCT customer_id) AS customer_count
FROM customers;

-- 如果 row_count > customer_count，查看哪些客户重复
SELECT customer_id, COUNT(*) AS record_count
FROM customers
GROUP BY customer_id
HAVING COUNT(*) > 1
ORDER BY record_count DESC
LIMIT 10;
```

假设结果显示，部分客户有两三条记录：每次改地址，系统都新增一行，而不是更新原来那行。这些客户的每一笔订单都会在 JOIN 中被翻倍。多出来的营收就是这么来的。

下一步是直接量出 JOIN 的影响，而不是靠猜：

```sql
-- 2. JOIN 是否改变了行数？
SELECT
  (SELECT COUNT(*) FROM orders) AS before_join,
  (SELECT COUNT(*) FROM orders o
     JOIN customers c ON c.customer_id = o.customer_id) AS after_join;

-- 3. 是否有订单找不到对应客户（INNER JOIN 会丢掉这些订单）？
SELECT COUNT(*) AS unmatched_orders
FROM orders o
LEFT JOIN customers c ON c.customer_id = o.customer_id
WHERE c.customer_id IS NULL;
```

`before_join`（JOIN 前）和 `after_join`（JOIN 后）必须相等。如果 `after_join` 更大，说明行被翻倍了。如果 `unmatched_orders`（未匹配订单数）大于 0，说明原来的 INNER JOIN 正在悄悄丢掉这些订单。

修复方法：每个客户只保留最新一条记录，并改用 LEFT JOIN，保证一笔订单都不丢。

```sql
WITH cust AS (
  SELECT customer_id, region,
         ROW_NUMBER() OVER (PARTITION BY customer_id
                            ORDER BY updated_at DESC) AS rn
  FROM customers
)
SELECT COALESCE(cust.region, '(未知)') AS region,
       SUM(o.amount) AS revenue
FROM orders o
LEFT JOIN cust ON cust.customer_id = o.customer_id AND cust.rn = 1
GROUP BY 1
ORDER BY revenue DESC;
```

`(未知)` 这一行不是需要藏起来的错误，而是要带回给客户的发现：有多少订单关联不到任何客户，原因是什么。

## Python 让检查可以重复运行

上面的 SQL 只对今天负责。下周新数据进来，你需要这些检查自动运行、出错时自动失败。这正是 Python 的用武之地，也是 Palantir 招聘中“数据处理和分析”落到实处的地方。

```python
import os
import pandas as pd
from sqlalchemy import create_engine

engine = create_engine(os.environ["CUSTOMER_DB_URL"])

orders = pd.read_sql("SELECT order_id, customer_id, amount FROM orders", engine)
customers = pd.read_sql(
    "SELECT customer_id, region, updated_at FROM customers", engine
)

# 每个客户保留最新一条记录
customers = (customers.sort_values("updated_at")
                      .drop_duplicates("customer_id", keep="last"))

# 如果 customers 一侧仍有重复键，validate 会报错
merged = orders.merge(customers, on="customer_id",
                      how="left", validate="many_to_one")
assert len(merged) == len(orders), "JOIN 改变了行数"

unmatched_rate = merged["region"].isna().mean()
print(f"未匹配到客户的订单占比：{unmatched_rate:.1%}")

report = (merged.fillna({"region": "(未知)"})
                .groupby("region")["amount"].sum()
                .sort_values(ascending=False))
```

这里最有价值的三行是：`validate="many_to_one"`，customers 一侧仍有重复键时会报错；`assert`，JOIN 改变了行数时会失败；以及打印未匹配订单占比的那一行。三者合在一起，把周一下午的教训变成了硬性要求。下次数据再出问题，数据管道会在错误数字送到客户手里之前停下来。

**要点:** 没有核对前后行数的 JOIN 还不是结果，只是一个假设。

## 应该按什么顺序做？

每次遇到新的客户表，都按同一个顺序来。先数行数和不重复的键数，确认键是否真正唯一。然后量出每个 JOIN 前后的行数，并用 LEFT JOIN 加 `IS NULL` 统计丢掉的记录。

一旦发现问题，就在查询层面修复：用 ROW_NUMBER()，或者用与客户确认过的记录选取规则。最后，把所有检查以 assert 的形式搬进 Python，报告时始终把未匹配数据的占比和总数一起给出，而不是只给总数。

## 常见错误

最常见的错误是出于习惯使用 INNER JOIN。它看起来干净，丢掉的却恰恰是你需要看到的记录。另一个错误是自己决定去重规则：“取最新记录”是业务决策，应该问客户，而不是猜。

还有一种错误是在查询末尾加 `SELECT DISTINCT` 打补丁。它掩盖了症状，却不告诉你原因，还可能把本来就不同的行合并掉。

最后一种是在 notebook 里手工检查，却不保存成脚本。下周数据一变，老 bug 卷土重来，谁也记不清当初查过什么。

## 如何在简历上体现这项技能

对想转做 FDE 的开发者来说，简历上写“熟练掌握 Python 和 SQL”几乎什么也没说。更有说服力的写法是讲一个故事：发现某张客户表存在重复键，导致上报营收虚高；用 pandas 编写自动化检查；向运营团队报告未匹配订单的比例。

## 本周练习

找一个你有只读权限的真实数据库，可以是工作中的，也可以是至少包含两张关联表的公开数据集。挑一条你或同事写过的报表查询，跑一遍上面的三项检查，再把它改写成带 `validate` 和 `assert` 的 Python 脚本。

如果三项检查都没问题，你就有了数字正确的证据。如果有问题，你就赶在客户之前发现了 bug，而这正是 FDE 的工作。

**本周动手试试:**

- 找一个你有只读权限的数据库，挑两张经常一起 JOIN 的表，统计 JOIN 前后的行数，并记下结果。
- 打开 Databricks 和 Palantir 的 FDE 岗位描述，划出提到 Python、SQL 和数据的句子，与你简历目前展示的内容对照。
- 按这个格式改写简历中的一行：发现了什么数据错误，如何检查，修复后数字变成了什么样。

## 信源

- [Forward Deployed Software Engineer - US Government (Palantir)](https://jobs.lever.co/palantir/d83fac1c-353e-4b77-a586-3276b1090b6e)

- [Forward Deployed Software Engineer - Japan Forward Deployed (Palantir)](https://jobs.lever.co/palantir/8aba5995-653d-4805-96e8-24488e6abf37)

- [Sr. Forward Deployed Engineer (Singapore, Job ID CSQ427R248) - Databricks](https://www.databricks.com/company/careers/professional-services-operations/sr-forward-deployed-engineer-8731998002)

- [SQL Skills Every Forward Deployed Engineer Needs](https://www.guvi.in/blog/?p=139550)

- [What is a forward deployed engineer? A complete guide](https://www.paraform.com/insights/what-is-a-forward-deployed-engineer)

- [The Forward Deployed Engineer Role (Capicua)](https://www.capicua.com/blog/the-forward-deployed-engineer-role)
