客户现场的第一条 SQL,跑通了也可能是错的
一个悄悄重复计数订单的 JOIN,说明了 FDE 岗位为何把 Python 和 SQL 当底线、把先查键当习惯。
要点速览
- 客户数据通常很乱,所以 SQL 首先是检查数据的工具,其次才是出报表的工具。
- 最危险的错误是 JOIN 写错:不报任何错,却会让行重复或让数据丢失。
- Python 用 assert 把这些检查变成可重复运行的代码,之后才谈得上做成产品。
周一,你拿到了客户 Postgres 数据库的只读权限。中午,对方销售负责人要一份按区域统计的营收。你在 orders 和 customers 两张表之间写了一个 JOIN,三秒跑完,把结果发了过去。
下午电话打回来了:你表里的总营收比财务的数字高。查询没有语法错误,也没有报任何错。它只是把一部分订单算了两遍,而且谁也没告诉。
正因为有这类情况,Python 和 SQL 被视为前线部署工程师(FDE)工作的底线。你不需要掌握一长串框架。你需要的是一个习惯:先检查数据,再相信数据;以及足够的能力,把这些检查写成可以反复运行的代码。
岗位描述怎么说这条底线?
Capicua 把 FDE 的工作描述为编写直接运行在客户基础设施和数据上的生产代码。招聘启事的方向一致,差别主要在于是否点名 SQL。
Databricks 在新加坡 Sr. FDE 岗位的要求中明确列出了 Python 和 SQL,同时希望 FDE 能把 OpenAI、Anthropic、Gemini 等 AI API 集成到应用中。Palantir 要求熟练掌握 Python、Java 或 C++ 等一门语言,并点名用 Python 做数据处理和分析,但没有提到 SQL。
不过,Palantir 的另一则招聘提到了 Postgres、Cassandra、Hadoop 和 Spark。Paraform 的概括是:一门后端语言,加上快速拉取和整理数据的能力。
读岗位描述时,留意“拉取和整理数据”“数据处理”这类说法,或者 Postgres、Spark 这类具体系统。它们意味着你要直接面对真实数据。就连 AI API 集成也建立在数据之上,数据错了,产品也会错。
关键词是“客户的”:这些数据是别人设计的,你也不知道它被多少代系统改过。
为什么 SQL 首先是检查工具?
HCL GUVI 称 SQL 是 FDE 最实用的技能之一。理由是客户环境里充斥着各种数据库、业务记录和不一致的数据。它还提醒,一个写错的 JOIN 可能制造重复记录,或者悄无声息地抹掉重要信息。
它的建议是:调查客户数据,而不是默认相信它。
所以 FDE 的 SQL 有两项任务。第一项是质疑数据:键真的唯一吗?JOIN 会不会让行数膨胀?有没有行被丢掉?做完这些,才轮到回答业务问题。
示例:拆解一个虚高的营收数字
回到周一下午。假设 customers 表有 customer_id、region 和 updated_at 三列。第一个问题是:customer_id 真的是唯一键吗?(下面的列别名含义:row_count 为行数,customer_count 为客户数,record_count 为记录数。)
-- 1. 键是否唯一?
SELECT COUNT(*) AS row_count,
COUNT(DISTINCT customer_id) AS customer_count
FROM customers;
-- 如果 row_count > customer_count,查看哪些客户重复
SELECT customer_id, COUNT(*) AS record_count
FROM customers
GROUP BY customer_id
HAVING COUNT(*) > 1
ORDER BY record_count DESC
LIMIT 10;
假设结果显示,部分客户有两三条记录:每次改地址,系统都新增一行,而不是更新原来那行。这些客户的每一笔订单都会在 JOIN 中被翻倍。多出来的营收就是这么来的。
下一步是直接量出 JOIN 的影响,而不是靠猜:
-- 2. JOIN 是否改变了行数?
SELECT
(SELECT COUNT(*) FROM orders) AS before_join,
(SELECT COUNT(*) FROM orders o
JOIN customers c ON c.customer_id = o.customer_id) AS after_join;
-- 3. 是否有订单找不到对应客户(INNER JOIN 会丢掉这些订单)?
SELECT COUNT(*) AS unmatched_orders
FROM orders o
LEFT JOIN customers c ON c.customer_id = o.customer_id
WHERE c.customer_id IS NULL;
before_join(JOIN 前)和 after_join(JOIN 后)必须相等。如果 after_join 更大,说明行被翻倍了。如果 unmatched_orders(未匹配订单数)大于 0,说明原来的 INNER JOIN 正在悄悄丢掉这些订单。
修复方法:每个客户只保留最新一条记录,并改用 LEFT JOIN,保证一笔订单都不丢。
WITH cust AS (
SELECT customer_id, region,
ROW_NUMBER() OVER (PARTITION BY customer_id
ORDER BY updated_at DESC) AS rn
FROM customers
)
SELECT COALESCE(cust.region, '(未知)') AS region,
SUM(o.amount) AS revenue
FROM orders o
LEFT JOIN cust ON cust.customer_id = o.customer_id AND cust.rn = 1
GROUP BY 1
ORDER BY revenue DESC;
(未知) 这一行不是需要藏起来的错误,而是要带回给客户的发现:有多少订单关联不到任何客户,原因是什么。
Python 让检查可以重复运行
上面的 SQL 只对今天负责。下周新数据进来,你需要这些检查自动运行、出错时自动失败。这正是 Python 的用武之地,也是 Palantir 招聘中“数据处理和分析”落到实处的地方。
import os
import pandas as pd
from sqlalchemy import create_engine
engine = create_engine(os.environ["CUSTOMER_DB_URL"])
orders = pd.read_sql("SELECT order_id, customer_id, amount FROM orders", engine)
customers = pd.read_sql(
"SELECT customer_id, region, updated_at FROM customers", engine
)
# 每个客户保留最新一条记录
customers = (customers.sort_values("updated_at")
.drop_duplicates("customer_id", keep="last"))
# 如果 customers 一侧仍有重复键,validate 会报错
merged = orders.merge(customers, on="customer_id",
how="left", validate="many_to_one")
assert len(merged) == len(orders), "JOIN 改变了行数"
unmatched_rate = merged["region"].isna().mean()
print(f"未匹配到客户的订单占比:{unmatched_rate:.1%}")
report = (merged.fillna({"region": "(未知)"})
.groupby("region")["amount"].sum()
.sort_values(ascending=False))
这里最有价值的三行是:validate="many_to_one",customers 一侧仍有重复键时会报错;assert,JOIN 改变了行数时会失败;以及打印未匹配订单占比的那一行。三者合在一起,把周一下午的教训变成了硬性要求。下次数据再出问题,数据管道会在错误数字送到客户手里之前停下来。
应该按什么顺序做?
每次遇到新的客户表,都按同一个顺序来。先数行数和不重复的键数,确认键是否真正唯一。然后量出每个 JOIN 前后的行数,并用 LEFT JOIN 加 IS NULL 统计丢掉的记录。
一旦发现问题,就在查询层面修复:用 ROW_NUMBER(),或者用与客户确认过的记录选取规则。最后,把所有检查以 assert 的形式搬进 Python,报告时始终把未匹配数据的占比和总数一起给出,而不是只给总数。
常见错误
最常见的错误是出于习惯使用 INNER JOIN。它看起来干净,丢掉的却恰恰是你需要看到的记录。另一个错误是自己决定去重规则:“取最新记录”是业务决策,应该问客户,而不是猜。
还有一种错误是在查询末尾加 SELECT DISTINCT 打补丁。它掩盖了症状,却不告诉你原因,还可能把本来就不同的行合并掉。
最后一种是在 notebook 里手工检查,却不保存成脚本。下周数据一变,老 bug 卷土重来,谁也记不清当初查过什么。
如何在简历上体现这项技能
对想转做 FDE 的开发者来说,简历上写“熟练掌握 Python 和 SQL”几乎什么也没说。更有说服力的写法是讲一个故事:发现某张客户表存在重复键,导致上报营收虚高;用 pandas 编写自动化检查;向运营团队报告未匹配订单的比例。
本周练习
找一个你有只读权限的真实数据库,可以是工作中的,也可以是至少包含两张关联表的公开数据集。挑一条你或同事写过的报表查询,跑一遍上面的三项检查,再把它改写成带 validate 和 assert 的 Python 脚本。
如果三项检查都没问题,你就有了数字正确的证据。如果有问题,你就赶在客户之前发现了 bug,而这正是 FDE 的工作。
这篇文章对你有帮助吗?
感谢你的反馈!
6 个信源
- Forward Deployed Software Engineer - US Government (Palantir)
- Forward Deployed Software Engineer - Japan Forward Deployed (Palantir)
- Sr. Forward Deployed Engineer (Singapore, Job ID CSQ427R248) - Databricks
- SQL Skills Every Forward Deployed Engineer Needs · 2026-09-27
- What is a forward deployed engineer? A complete guide · 2026-09-03
- The Forward Deployed Engineer Role (Capicua) · 2026-07-23