模型跑起来之前,FDE 得先认出 PUMP-07 就是 P7
工程师常把数据接入当成清理杂活,但 Tagup 把 SQL 和 ETL 列为硬技能,企业 AI 试点失败也多因数据分散。
要点速览
- Tagup 把 ETL 和系统集成列为 FDE 的硬技能,Palantir 要求候选人有大规模数据相关经验,或对此感兴趣。
- 企业 AI 试点常常失败,原因是数据分散在多个难以集成的独立系统里。这道缺口要由 FDE 来补。
- 流程分五步:盘点数据源、数据剖析、键映射、对账、交接。
到客户现场的第一周,你打开客户维修系统导出的数据。设备编码一列写的是“PUMP-07”,传感器数据库里写的却是“P7”。演示定在周五上午。得先有办法认出这两个名字是同一台泵,否则一行代码也跑不起来。
很多工程师把这个阶段当成“清理工作”,熬过去才轮到有意思的部分。岗位描述并不这么看。Tagup 的前线部署工程师(FDE)招聘启事写明了这个岗位的一项任务:接入客户实际业务仍在依赖的那些不完美的数据。同一份启事把 Python 或 TypeScript、SQL、ETL 和系统集成列为硬技能。
Paraform 通过 The New Stack 引用 MIT NANDA 的研究指出,企业 AI 试点之所以失败,很大程度上是因为公司数据分散在多个难以集成的独立系统里。
The Pragmatic Engineer 旗下的 The Pulse 通讯这样描述如今的 FDE:集成工作和贴身支持客户占大头,从零搭建新系统的部分很少。如果这个说法成立,数据接入就是投简历之前应该先练好的技能。
为什么数据会暴露真正的问题?
Palantir 在 2010 年代初设立了这个岗位,内部把这些工程师称为 Delta。按该公司招聘启事的说法,前线部署软件工程师(FDSE)直接与客户合作,快速弄清客户最大的问题。他们在小团队里工作,监督很少,对关键项目端到端负责。
既然要对项目从头负责到尾,第一个碰到的几乎总是客户的数据。在监督很少的小团队里,多半不会有单独的数据工程团队替你做这部分。
同一份启事还要求候选人有利用大规模数据解决高价值业务问题的经验,或对此感兴趣。
背后还有更深一层的原因。设备编码对不上,往往说明两个部门从来不需要共享数据。弄清一次 join 为什么失败,也就看懂了客户组织运作的一部分。
Paraform 把 FDE 描述为软件工程与客户部署的结合体。数据接入正是这两半交汇的地方。
示例:两个系统,一台泵
假设客户是一家供水公司,想预测水泵何时会出故障。数据源有两个。维修系统导出的 work_orders.csv 文件包含 asset_code、本地时间的 opened_at,以及技术员手工填写的 failure_type 列。Postgres 里的 sensor_devices 表包含 device_id,振动读数按 UTC 记录。
先做数据剖析,数据管道可以等一等。一条简单的 SQL 查询就能看出两个数据源差得有多远(别名 order_count 表示“工单数量”):
-- 维修系统中有多少资产编码在传感器端找不到对应?
SELECT w.asset_code, COUNT(*) AS order_count
FROM work_orders w
LEFT JOIN sensor_devices s ON s.device_id = w.asset_code
WHERE s.device_id IS NULL
GROUP BY w.asset_code
ORDER BY order_count DESC;
注释问的是:维修系统里有多少编码在传感器端找不到对应?假设几乎一个都对不上。这不代表数据脏,只是两个系统的命名方式不同。下一步是把两边都规范化成同一个键,把时间戳转换到同一个时区,再 join 一次:
import re
import pandas as pd
def normalize(code) -> str | None:
m = re.search(r"(\d+)$", str(code).strip().upper())
return f"PUMP-{int(m.group(1)):02d}" if m else None
wo = pd.read_csv("work_orders.csv")
wo["asset_key"] = wo["asset_code"].map(normalize)
wo["opened_at_utc"] = (
pd.to_datetime(wo["opened_at"])
.dt.tz_localize("Asia/Ho_Chi_Minh")
.dt.tz_convert("UTC")
)
# conn:连接客户 Postgres 的数据库连接
sensors = pd.read_sql("SELECT device_id FROM sensor_devices", conn)
sensors["asset_key"] = sensors["device_id"].map(normalize)
merged = wo.merge(sensors[["asset_key", "device_id"]],
on="asset_key", how="left", indicator=True)
unmatched = merged[merged["_merge"] == "left_only"]
unmatched.to_csv("needs_customer_confirmation.csv", index=False)
关键在最后两行。“取编码末尾的数字”这条规则只是你的假设。关联不到传感器的工单,必须交给客户那边负责这份数据的人确认,不能悄悄丢掉。这里的文件是 needs_customer_confirmation.csv,意思是“需要客户确认”。(conn 上方的注释说明,它是连接客户 Postgres 的连接。)这份例外文件,常常能引出一周里最有价值的一次对话。
最后一步是对账,每次运行数据管道都要执行。这里 total 是总数,matched 是匹配上的数量。两条断言的提示分别是“两个传感器被合并成同一个键”和“join 让工单重复了”,打印出的那一行则报告有多少工单关联到了真实的传感器:
total = len(wo)
assert sensors["asset_key"].dropna().is_unique, "两个传感器被合并成同一个键"
assert len(merged) == total, "join 让工单重复了"
matched = int((merged["_merge"] == "both").sum())
print(f"{matched}/{total} 条工单关联到真实传感器({matched/total:.1%})")
这两条断言能拦住规范化规则悄无声息出错的两种情况:两台泵被合并成一台,或者某条工单在 join 后被重复。匹配率以传感器端真实的 device_id 列表为基准来衡量,而不是以你自己规范化后的输出为基准。
带着打印出来的这一行去见客户。“数据有点乱”就变成了可以量化的进展。
一套可以自己跑的流程
先盘点:有哪些数据源,每个数据源归谁负责,数据怎么导出,多久更新一次。然后逐个剖析:统计空值,看取值分布,试着 join 各个键。只有弄清哪里对不上之后,才去定义规范的 schema 和共享键。
接下来,把映射规则写成显式代码,配一份例外文件,并在客户那边找一个人签字确认。每次运行数据管道都必须打印对账结果,这样匹配率始终基于最新数据。
交接时,文档要写清每条规则以及它存在的原因,让接手的人不用去猜。
悄悄拖垮项目的错误
| 常见错误 | 后果 | 正确做法 |
|---|---|---|
| 先写数据管道,后做剖析 | 键不匹配的问题到演示前夕才暴露 | 第一天就用 LEFT JOIN 统计孤立记录 |
| 悄悄丢掉没匹配上的行 | 模型在有偏的数据集上训练,没人察觉 | 导出例外文件,发给客户确认 |
| 猜测手工填写列的含义 | 故障类型分错 | 去问录入数据的技术员 |
| 本地时间与 UTC 混用 | 故障事件与传感器信号错位 | 读入数据时立即统一时区 |
| 没有对账数字 | 回答不了“数据现在够好了吗?” | 每次运行都打印相对真实传感器列表的匹配率,并检查 join 后的行数 |
求职时怎样展示这项技能?
读岗位描述(JD)时,留意 ETL、integration、“imperfect data”或“large scale data”这类字眼。它们说明你的时间会花在哪里。如果一份 JD 只谈模型,对客户数据只字不提,面试时就问一问。
简历上,“两周内整合三个系统的数据,把键匹配率提升到客户认可的水平”这样一行,比“精通 pandas”分量重得多。你还可以在作品集里放一个小仓库:两个对不上的公开数据集、一份例外文件和一个对账步骤。
这样的仓库,是你做过这些 JD 所描述工作的具体证据。
演示当天,客户不会记得你的模型用了什么算法。他们记住的,是第一次在同一块屏幕上看到同一台泵的维修工单和传感器信号。
这篇文章对你有帮助吗?
感谢你的反馈!