FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

客户现场的第一条 SQL,跑通了也可能是错的

一个悄悄重复计数订单的 JOIN,说明了 FDE 岗位为何把 Python 和 SQL 当底线、把先查键当习惯。

分享微博

要点速览

  • 客户数据通常很乱,所以 SQL 首先是检查数据的工具,其次才是出报表的工具。
  • 最危险的错误是 JOIN 写错:不报任何错,却会让行重复或让数据丢失。
  • Python 用 assert 把这些检查变成可重复运行的代码,之后才谈得上做成产品。
前后对比示意图。左侧为 INNER JOIN:customers 表中同一客户有两行(键重复),orders 中的一笔订单 A 在结果里变成两行,即 post_join 大于 pre_join。右侧为 ROW_NUMBER + LEFT JOIN:只保留 rn = 1 的记录、丢弃 rn = 2,订单 A 仍为一行,post_join 等于 pre_join。
customers 表存在重复键时,INNER JOIN 会把订单翻成多行且不报错。用 ROW_NUMBER() 只保留最新记录,再用 LEFT JOIN,JOIN 后的行数就与 JOIN 前一致。

周一,你拿到了客户 Postgres 数据库的只读权限。中午,对方销售负责人要一份按区域统计的营收。你在 orders 和 customers 两张表之间写了一个 JOIN,三秒跑完,把结果发了过去。

下午电话打回来了:你表里的总营收比财务的数字高。查询没有语法错误,也没有报任何错。它只是把一部分订单算了两遍,而且谁也没告诉。

正因为有这类情况,Python 和 SQL 被视为前线部署工程师(FDE)工作的底线。你不需要掌握一长串框架。你需要的是一个习惯:先检查数据,再相信数据;以及足够的能力,把这些检查写成可以反复运行的代码。

岗位描述怎么说这条底线?

Capicua 把 FDE 的工作描述为编写直接运行在客户基础设施和数据上的生产代码。招聘启事的方向一致,差别主要在于是否点名 SQL。

Databricks 在新加坡 Sr. FDE 岗位的要求中明确列出了 Python 和 SQL,同时希望 FDE 能把 OpenAI、Anthropic、Gemini 等 AI API 集成到应用中。Palantir 要求熟练掌握 Python、Java 或 C++ 等一门语言,并点名用 Python 做数据处理和分析,但没有提到 SQL。

不过,Palantir 的另一则招聘提到了 Postgres、Cassandra、Hadoop 和 Spark。Paraform 的概括是:一门后端语言,加上快速拉取和整理数据的能力。

读岗位描述时,留意“拉取和整理数据”“数据处理”这类说法,或者 Postgres、Spark 这类具体系统。它们意味着你要直接面对真实数据。就连 AI API 集成也建立在数据之上,数据错了,产品也会错。

关键词是“客户的”:这些数据是别人设计的,你也不知道它被多少代系统改过。

为什么 SQL 首先是检查工具?

HCL GUVI 称 SQL 是 FDE 最实用的技能之一。理由是客户环境里充斥着各种数据库、业务记录和不一致的数据。它还提醒,一个写错的 JOIN 可能制造重复记录,或者悄无声息地抹掉重要信息。

它的建议是:调查客户数据,而不是默认相信它。

所以 FDE 的 SQL 有两项任务。第一项是质疑数据:键真的唯一吗?JOIN 会不会让行数膨胀?有没有行被丢掉?做完这些,才轮到回答业务问题。

示例:拆解一个虚高的营收数字

回到周一下午。假设 customers 表有 customer_id、region 和 updated_at 三列。第一个问题是:customer_id 真的是唯一键吗?(下面的列别名含义:row_count 为行数,customer_count 为客户数,record_count 为记录数。)

-- 1. 键是否唯一?
SELECT COUNT(*) AS row_count,
       COUNT(DISTINCT customer_id) AS customer_count
FROM customers;

-- 如果 row_count > customer_count,查看哪些客户重复
SELECT customer_id, COUNT(*) AS record_count
FROM customers
GROUP BY customer_id
HAVING COUNT(*) > 1
ORDER BY record_count DESC
LIMIT 10;

假设结果显示,部分客户有两三条记录:每次改地址,系统都新增一行,而不是更新原来那行。这些客户的每一笔订单都会在 JOIN 中被翻倍。多出来的营收就是这么来的。

下一步是直接量出 JOIN 的影响,而不是靠猜:

-- 2. JOIN 是否改变了行数?
SELECT
  (SELECT COUNT(*) FROM orders) AS before_join,
  (SELECT COUNT(*) FROM orders o
     JOIN customers c ON c.customer_id = o.customer_id) AS after_join;

-- 3. 是否有订单找不到对应客户(INNER JOIN 会丢掉这些订单)?
SELECT COUNT(*) AS unmatched_orders
FROM orders o
LEFT JOIN customers c ON c.customer_id = o.customer_id
WHERE c.customer_id IS NULL;

before_join(JOIN 前)和 after_join(JOIN 后)必须相等。如果 after_join 更大,说明行被翻倍了。如果 unmatched_orders(未匹配订单数)大于 0,说明原来的 INNER JOIN 正在悄悄丢掉这些订单。

修复方法:每个客户只保留最新一条记录,并改用 LEFT JOIN,保证一笔订单都不丢。

WITH cust AS (
  SELECT customer_id, region,
         ROW_NUMBER() OVER (PARTITION BY customer_id
                            ORDER BY updated_at DESC) AS rn
  FROM customers
)
SELECT COALESCE(cust.region, '(未知)') AS region,
       SUM(o.amount) AS revenue
FROM orders o
LEFT JOIN cust ON cust.customer_id = o.customer_id AND cust.rn = 1
GROUP BY 1
ORDER BY revenue DESC;

(未知) 这一行不是需要藏起来的错误,而是要带回给客户的发现:有多少订单关联不到任何客户,原因是什么。

Python 让检查可以重复运行

上面的 SQL 只对今天负责。下周新数据进来,你需要这些检查自动运行、出错时自动失败。这正是 Python 的用武之地,也是 Palantir 招聘中“数据处理和分析”落到实处的地方。

import os
import pandas as pd
from sqlalchemy import create_engine

engine = create_engine(os.environ["CUSTOMER_DB_URL"])

orders = pd.read_sql("SELECT order_id, customer_id, amount FROM orders", engine)
customers = pd.read_sql(
    "SELECT customer_id, region, updated_at FROM customers", engine
)

# 每个客户保留最新一条记录
customers = (customers.sort_values("updated_at")
                      .drop_duplicates("customer_id", keep="last"))

# 如果 customers 一侧仍有重复键,validate 会报错
merged = orders.merge(customers, on="customer_id",
                      how="left", validate="many_to_one")
assert len(merged) == len(orders), "JOIN 改变了行数"

unmatched_rate = merged["region"].isna().mean()
print(f"未匹配到客户的订单占比:{unmatched_rate:.1%}")

report = (merged.fillna({"region": "(未知)"})
                .groupby("region")["amount"].sum()
                .sort_values(ascending=False))

这里最有价值的三行是:validate="many_to_one",customers 一侧仍有重复键时会报错;assert,JOIN 改变了行数时会失败;以及打印未匹配订单占比的那一行。三者合在一起,把周一下午的教训变成了硬性要求。下次数据再出问题,数据管道会在错误数字送到客户手里之前停下来。

应该按什么顺序做?

每次遇到新的客户表,都按同一个顺序来。先数行数和不重复的键数,确认键是否真正唯一。然后量出每个 JOIN 前后的行数,并用 LEFT JOIN 加 IS NULL 统计丢掉的记录。

一旦发现问题,就在查询层面修复:用 ROW_NUMBER(),或者用与客户确认过的记录选取规则。最后,把所有检查以 assert 的形式搬进 Python,报告时始终把未匹配数据的占比和总数一起给出,而不是只给总数。

常见错误

最常见的错误是出于习惯使用 INNER JOIN。它看起来干净,丢掉的却恰恰是你需要看到的记录。另一个错误是自己决定去重规则:“取最新记录”是业务决策,应该问客户,而不是猜。

还有一种错误是在查询末尾加 SELECT DISTINCT 打补丁。它掩盖了症状,却不告诉你原因,还可能把本来就不同的行合并掉。

最后一种是在 notebook 里手工检查,却不保存成脚本。下周数据一变,老 bug 卷土重来,谁也记不清当初查过什么。

如何在简历上体现这项技能

对想转做 FDE 的开发者来说,简历上写“熟练掌握 Python 和 SQL”几乎什么也没说。更有说服力的写法是讲一个故事:发现某张客户表存在重复键,导致上报营收虚高;用 pandas 编写自动化检查;向运营团队报告未匹配订单的比例。

本周练习

找一个你有只读权限的真实数据库,可以是工作中的,也可以是至少包含两张关联表的公开数据集。挑一条你或同事写过的报表查询,跑一遍上面的三项检查,再把它改写成带 validate 和 assert 的 Python 脚本。

如果三项检查都没问题,你就有了数字正确的证据。如果有问题,你就赶在客户之前发现了 bug,而这正是 FDE 的工作。

这篇文章对你有帮助吗?

6 个信源
路线图上的下一篇 · 阶段 1: 基础认知FDE 项目先定“为什么”和“做什么”,再写代码Databricks 在动工前用与客户共享的 OKR 锚定项目,一页三层的项目简报也能起到同样作用。