数据工程师转做 FDE 后,schema 不再归你管
Valdera、Rowspace 和 Vori 的招聘启事显示,第一项任务是从 SAP 导出、电子表格和扫描 PDF 里找数据。
要点速览
- 客户数据不按你的规则来,所以第一项工作是弄清数据在哪里、遵循什么规则。
- 客户侧的数据管道需要校验、重试,并且在部分数据出错时仍能继续运行:加载好的行,隔离坏的行,并写明原因。
- 映射和对账是持续的运维工作;为一个客户做出的最好成果,应当沉淀为所有客户都能用的功能。
设想你在客户现场的第一周。你要加载供应商发票数据,同时拿到三样东西:一份 SAP 导出文件,一个财务团队手工维护的 Excel 文件,还有一个装满扫描 PDF 的文件夹。没有人对 schema 负责,没有数据契约,给管理层的演示却已经排进了日程。
对习惯了内部数据管道的数据工程师来说,这是实打实的冲击。在原来的公司,数据源和格式都由你掌控;数据有错,就给上游团队提工单。到了这里,没有上游可以甩锅,因为上游就是客户。
好消息是,你的大部分技能依然用得上,变的只是优先级的顺序。而前线部署工程师(FDE)的招聘启事,把这种变化写得出奇地清楚。
第一项工作是找数据,不是写管道
Valdera 的 FDE 招聘启事写道,每个客户都不一样:数据存放在不同的系统里,结构不同,遵循的规则也不同。要集成的是客户的 ERP、采购和财务平台,比如 SAP、Oracle、Coupa 和 Ariba,而不是你们团队管理的数据湖。
Rowspace 说得更进一步。它的 FDE 在合同签订之后开展工作,与客户坐在一起,直接在客户的环境里、基于客户的数据搭建集成和数据管道。
他们要找的人,不会被 PDF、Excel 模型和不一致的格式吓退。Vori 在招聘前线部署数据工程师(Forward Deployed Data Engineer)时,列出的输入从 CSV、EDI 到 PDF,甚至还有扫描的纸质文件。
所以第一个问题不是“用 Airflow 还是 dbt?”。你要弄清楚数据在哪里、谁在修改它,以及哪些业务规则从来没人写下来。比如,Excel 文件里的供应商代码,可能是 SAP 迁移之前的旧代码。
内部数据管道
- schema 由你定义
- 坏数据让作业停止并触发工单
- 先仔细设计,再运行
- 迁移完成就结束了
客户数据
- schema 早已存在,而且常常自相矛盾
- 加载好的部分,隔离坏的部分,并说明原因
- 快速做原型,把真正被用到的部分做扎实
- 映射和对账需要持续维护
坏数据不能拖垮整次运行
Valdera 直截了当地写明了 FDE 要应对的问题:格式混乱、schema 对不上,整个流程都需要校验、重试和优雅降级。这三个词,概括了与内部工作习惯之间最大的断层。
算一笔账。假设第一批有 1,000 张发票,其中 60 行缺少供应商代码,或者把金额记成了“1.250,00”而不是“1250.00”。
按内部习惯,断言失败,作业停止,加载了 0 张发票,演示时什么也拿不出来。按 FDE 的做法,940 行顺利加载,60 行进入隔离区,每一行都附上具体原因,发给财务团队。
下面的代码是一个最小骨架,处理这个场景里的两个表格类数据源:SAP 导出文件和财务团队的 Excel 文件,前提是它们已经读成了行。每个数据源有自己的映射,放在配置里,而不是写死在代码中。这也是你在头几周改动最多的部分。
REQUIRED = ["vendor_id", "invoice_no", "amount", "currency"]
# 每个数据源一份映射;这是配置,不是代码
SAP_MAPPING = {"vendor_id": "LIFNR", "invoice_no": "BELNR",
"amount": "WRBTR", "currency": "WAERS"}
# 财务团队的 Excel:目标字段相同,列名不同
EXCEL_MAPPING = {"vendor_id": "Supplier Code", "invoice_no": "Invoice #",
"amount": "Total", "currency": "Curr"}
def normalize(row: dict, mapping: dict) -> dict:
out = {target: row.get(src) for target, src in mapping.items()}
amt = out.get("amount")
if isinstance(amt, str):
amt = amt.strip()
if "," in amt and amt.rfind(",") > amt.rfind("."):
amt = amt.replace(".", "").replace(",", ".") # 1.250,00 -> 1250.00
out["amount"] = amt.replace(",", "")
return out
def validate(row: dict) -> list[str]:
errors = [f"缺少 {f}" for f in REQUIRED if not row.get(f)]
try:
float(row.get("amount") or "x")
except ValueError:
errors.append(f"金额不是数字:{row.get('amount')!r}")
return errors
def ingest(rows, mapping):
good, quarantine = [], []
for raw in rows:
row = normalize(raw, mapping)
errs = validate(row)
if errs:
quarantine.append({"raw": raw, "errors": errs})
else:
good.append(row)
return good, quarantine
# 同一个函数,两个数据源
sap_good, sap_bad = ingest(sap_rows, SAP_MAPPING)
xls_good, xls_bad = ingest(excel_rows, EXCEL_MAPPING)
那一文件夹扫描 PDF 不在这个骨架里。它需要单独的抽取步骤,先把页面转成行,然后才能配上第三份映射,走同一个 ingest 函数。值得记住的是这道共用的入口:所有数据源都经过同一层校验和隔离。
重试属于系统调用层,比如 ERP 的 API 偶尔超时。你给这个调用加上退避,并限制尝试次数。隔离属于数据层。两者不要混用:一行格式错误的数据,重试十次也不会变对。
先做原型,再做扎实,对账永无止境
Valdera 描述的工作节奏是:快速做出原型,再把真正被用到的部分加固成足以上生产环境的方案。Paraform 把按部署项目设定的时间表搭建定制集成和数据管道,列为 FDE 的核心职责之一。
对习惯先仔细设计再运行的人来说,这种节奏起初会显得草率。其实它只是把顺序反了过来:通过在真实数据上运行,去摸清数据的规则。
原因在于,演示反映不了真实情况。Stackmatix 的一篇指南指出,客户数据很乱,真实的数据管道充满了任何演示都暴露不出来的边界情况。按照这篇指南的说法,评测发生在生产环境中:在真实系统上跑起来之前,什么都没有得到证明。
加固也不是工作的终点。Vori 把配置和维护数据映射与对账视为运营团队的日常工作,而不是一次性的迁移项目。客户会改供应商代码,财务团队会在 Excel 里加一列,你的映射必须跟上。
Rowspace 还多了一个循环:为一个客户做出的最好成果,应当变成所有客户都能用的功能。上面那个由配置驱动的 normalize 函数,正是这样一个功能的雏形。
实战:接入新数据源的五个步骤
遇到陌生的数据源时,按下面的顺序来。
第 1 步:数据发现。 写一页说明:数据在哪个系统里、归谁负责、是什么格式,以及哪些业务规则只存在于用户的口头描述中。
第 2 步:先度量,再转换。 取一份真实样本,在写任何转换逻辑之前,按错误类型统计坏行数量。
第 3 步:带隔离的原型。 原型从一开始就把有效行和隔离行分开,这样几天之内就有东西可以给客户看。
第 4 步:把隔离清单交给业务负责人。 他们可以在源头修正那些你永远猜不到的错误。
第 5 步:加固并封装映射。 只加固客户真正用到的路径,并把映射移到配置中,下次可以复用。
转行者常犯的错误
最常见的错误,是像在原公司守护质量那样,把一行坏数据当成整个作业的失败。第二个错误是猜业务规则而不去问。“status”列为空,在某个部门的流程里可能恰恰表示“已付款”。
第三个错误是还没碰真实数据,就在优雅的架构上投入大量精力。第四个错误与人有关。Vori 在任职要求中写明,候选人需要对客户有同理心,并能在混乱、高压的环境中处理事故时保持冷静。
开创这一岗位的 Palantir 表示,FDE 经常直接在客户现场工作。在那里,你如何解释那 60 行被隔离的数据,和把它们分离出来的代码同样重要。
把过往经验转化为 FDE 履历
Palantir 在描述 FDE 的日常工作时,提到了处理超大规模数据。换句话说,数据工程背景是实实在在的优势,无需遮掩。Paraform 援引《金融时报》(Financial Times)的报道称,2025 年 1 月至 9 月,FDE 招聘启事数量增长了 800% 以上,可见市场确实需要这套技能。
但简历必须说这个岗位的语言。与其写“搭建了每天处理 2 TB 数据的 Spark 管道”,不如描述一次集成你无法掌控的数据源的经历:你如何隔离错误,又和谁坐下来厘清了业务规则。
以上文 1,000 张发票的场景为假设示例。老式的简历写法是:“搭建 ETL 管道,将发票数据加载到数据仓库。”这没错,但 FDE 招聘方看不到客户、看不到脏数据,也看不到结果。
用 FDE 的语言改写:“集成来自 SAP 和客户财务团队所管理 Excel 文件的发票数据;设计隔离层,首次运行即加载 1,000 行中的 940 行,并将 60 行失败数据连同原因发给财务团队在源头修正;将映射封装为可复用的配置,用于第二个数据源。”
第二种写法同时包含三个信号:你无法掌控的数据、有数字支撑的优雅降级,以及可复用的成果。按这个模板,用真实项目和真实数字写出你自己的版本。阅读招聘启事时,留意“messy data”“reconciliation”“post-sale”“on site”这类表述:它们说明你有多少时间要和客户打交道。
内部数据管道教你把数据弄对。客户数据教你在数据还没弄对的时候,让系统依然有用。这正是企业愿意花钱派到现场的能力。
这篇文章对你有帮助吗?
感谢你的反馈!
6 个信源
- Valdera - Forward Deployed Engineer
- Forward Deployed Engineer (Rowspace)
- Forward Deployed Data Engineer (Vori, San Francisco, CA)
- Palantir Technologies - Forward Deployed Software Engineer
- What Is a Forward Deployed Engineer? GTM Guide for Startups · 2026-09-03
- What is a forward deployed engineer? A complete guide · 2026-09-03