# 数据工程师转做 FDE 后，schema 不再归你管

> Valdera、Rowspace 和 Vori 的招聘启事显示，第一项任务是从 SAP 导出、电子表格和扫描 PDF 里找数据。

原文: https://fdetimes.net/zh/guides/data-engineer-to-fde-customer-data/

设想你在客户现场的第一周。你要加载供应商发票数据，同时拿到三样东西：一份 SAP 导出文件，一个财务团队手工维护的 Excel 文件，还有一个装满扫描 PDF 的文件夹。没有人对 schema 负责，没有数据契约，给管理层的演示却已经排进了日程。

对习惯了内部数据管道的数据工程师来说，这是实打实的冲击。在原来的公司，数据源和格式都由你掌控；数据有错，就给上游团队提工单。到了这里，没有上游可以甩锅，因为上游就是客户。

好消息是，你的大部分技能依然用得上，变的只是优先级的顺序。而前线部署工程师（FDE）的招聘启事，把这种变化写得出奇地清楚。

## 第一项工作是找数据，不是写管道

Valdera 的 FDE 招聘启事写道，每个客户都不一样：数据存放在不同的系统里，结构不同，遵循的规则也不同。要集成的是客户的 ERP、采购和财务平台，比如 SAP、Oracle、Coupa 和 Ariba，而不是你们团队管理的数据湖。

Rowspace 说得更进一步。它的 FDE 在合同签订之后开展工作，与客户坐在一起，直接在客户的环境里、基于客户的数据搭建集成和数据管道。

他们要找的人，不会被 PDF、Excel 模型和不一致的格式吓退。Vori 在招聘前线部署数据工程师（Forward Deployed Data Engineer）时，列出的输入从 CSV、EDI 到 PDF，甚至还有扫描的纸质文件。

所以第一个问题不是“用 Airflow 还是 dbt？”。你要弄清楚数据在哪里、谁在修改它，以及哪些业务规则从来没人写下来。比如，Excel 文件里的供应商代码，可能是 SAP 迁移之前的旧代码。

## 坏数据不能拖垮整次运行

Valdera 直截了当地写明了 FDE 要应对的问题：格式混乱、schema 对不上，整个流程都需要校验、重试和优雅降级。这三个词，概括了与内部工作习惯之间最大的断层。

算一笔账。假设第一批有 1,000 张发票，其中 60 行缺少供应商代码，或者把金额记成了“1.250,00”而不是“1250.00”。

按内部习惯，断言失败，作业停止，加载了 0 张发票，演示时什么也拿不出来。按 FDE 的做法，940 行顺利加载，60 行进入隔离区，每一行都附上具体原因，发给财务团队。

下面的代码是一个最小骨架，处理这个场景里的两个表格类数据源：SAP 导出文件和财务团队的 Excel 文件，前提是它们已经读成了行。每个数据源有自己的映射，放在配置里，而不是写死在代码中。这也是你在头几周改动最多的部分。

```python
REQUIRED = ["vendor_id", "invoice_no", "amount", "currency"]

# 每个数据源一份映射；这是配置，不是代码
SAP_MAPPING = {"vendor_id": "LIFNR", "invoice_no": "BELNR",
               "amount": "WRBTR", "currency": "WAERS"}

# 财务团队的 Excel：目标字段相同，列名不同
EXCEL_MAPPING = {"vendor_id": "Supplier Code", "invoice_no": "Invoice #",
                 "amount": "Total", "currency": "Curr"}

def normalize(row: dict, mapping: dict) -> dict:
    out = {target: row.get(src) for target, src in mapping.items()}
    amt = out.get("amount")
    if isinstance(amt, str):
        amt = amt.strip()
        if "," in amt and amt.rfind(",") > amt.rfind("."):
            amt = amt.replace(".", "").replace(",", ".")  # 1.250,00 -> 1250.00
        out["amount"] = amt.replace(",", "")
    return out

def validate(row: dict) -> list[str]:
    errors = [f"缺少 {f}" for f in REQUIRED if not row.get(f)]
    try:
        float(row.get("amount") or "x")
    except ValueError:
        errors.append(f"金额不是数字：{row.get('amount')!r}")
    return errors

def ingest(rows, mapping):
    good, quarantine = [], []
    for raw in rows:
        row = normalize(raw, mapping)
        errs = validate(row)
        if errs:
            quarantine.append({"raw": raw, "errors": errs})
        else:
            good.append(row)
    return good, quarantine

# 同一个函数，两个数据源
sap_good, sap_bad = ingest(sap_rows, SAP_MAPPING)
xls_good, xls_bad = ingest(excel_rows, EXCEL_MAPPING)
```

那一文件夹扫描 PDF 不在这个骨架里。它需要单独的抽取步骤，先把页面转成行，然后才能配上第三份映射，走同一个 `ingest` 函数。值得记住的是这道共用的入口：所有数据源都经过同一层校验和隔离。

重试属于系统调用层，比如 ERP 的 API 偶尔超时。你给这个调用加上退避，并限制尝试次数。隔离属于数据层。两者不要混用：一行格式错误的数据，重试十次也不会变对。

**要点:** 在客户现场，你不是在指挥数据，而是在和数据谈判。

## 先做原型，再做扎实，对账永无止境

Valdera 描述的工作节奏是：快速做出原型，再把真正被用到的部分加固成足以上生产环境的方案。Paraform 把按部署项目设定的时间表搭建定制集成和数据管道，列为 FDE 的核心职责之一。

对习惯先仔细设计再运行的人来说，这种节奏起初会显得草率。其实它只是把顺序反了过来：通过在真实数据上运行，去摸清数据的规则。

原因在于，演示反映不了真实情况。Stackmatix 的一篇指南指出，客户数据很乱，真实的数据管道充满了任何演示都暴露不出来的边界情况。按照这篇指南的说法，评测发生在生产环境中：在真实系统上跑起来之前，什么都没有得到证明。

加固也不是工作的终点。Vori 把配置和维护数据映射与对账视为运营团队的日常工作，而不是一次性的迁移项目。客户会改供应商代码，财务团队会在 Excel 里加一列，你的映射必须跟上。

Rowspace 还多了一个循环：为一个客户做出的最好成果，应当变成所有客户都能用的功能。上面那个由配置驱动的 `normalize` 函数，正是这样一个功能的雏形。

## 实战：接入新数据源的五个步骤

遇到陌生的数据源时，按下面的顺序来。

**第 1 步：数据发现。** 写一页说明：数据在哪个系统里、归谁负责、是什么格式，以及哪些业务规则只存在于用户的口头描述中。

**第 2 步：先度量，再转换。** 取一份真实样本，在写任何转换逻辑之前，按错误类型统计坏行数量。

**第 3 步：带隔离的原型。** 原型从一开始就把有效行和隔离行分开，这样几天之内就有东西可以给客户看。

**第 4 步：把隔离清单交给业务负责人。** 他们可以在源头修正那些你永远猜不到的错误。

**第 5 步：加固并封装映射。** 只加固客户真正用到的路径，并把映射移到配置中，下次可以复用。

## 转行者常犯的错误

最常见的错误，是像在原公司守护质量那样，把一行坏数据当成整个作业的失败。第二个错误是猜业务规则而不去问。“status”列为空，在某个部门的流程里可能恰恰表示“已付款”。

第三个错误是还没碰真实数据，就在优雅的架构上投入大量精力。第四个错误与人有关。Vori 在任职要求中写明，候选人需要对客户有同理心，并能在混乱、高压的环境中处理事故时保持冷静。

开创这一岗位的 Palantir 表示，FDE 经常直接在客户现场工作。在那里，你如何解释那 60 行被隔离的数据，和把它们分离出来的代码同样重要。

## 把过往经验转化为 FDE 履历

Palantir 在描述 FDE 的日常工作时，提到了处理超大规模数据。换句话说，数据工程背景是实实在在的优势，无需遮掩。Paraform 援引《金融时报》（Financial Times）的报道称，2025 年 1 月至 9 月，FDE 招聘启事数量增长了 800% 以上，可见市场确实需要这套技能。

但简历必须说这个岗位的语言。与其写“搭建了每天处理 2 TB 数据的 Spark 管道”，不如描述一次集成你无法掌控的数据源的经历：你如何隔离错误，又和谁坐下来厘清了业务规则。

以上文 1,000 张发票的场景为假设示例。老式的简历写法是：“搭建 ETL 管道，将发票数据加载到数据仓库。”这没错，但 FDE 招聘方看不到客户、看不到脏数据，也看不到结果。

用 FDE 的语言改写：“集成来自 SAP 和客户财务团队所管理 Excel 文件的发票数据；设计隔离层，首次运行即加载 1,000 行中的 940 行，并将 60 行失败数据连同原因发给财务团队在源头修正；将映射封装为可复用的配置，用于第二个数据源。”

第二种写法同时包含三个信号：你无法掌控的数据、有数字支撑的优雅降级，以及可复用的成果。按这个模板，用真实项目和真实数字写出你自己的版本。阅读招聘启事时，留意“messy data”“reconciliation”“post-sale”“on site”这类表述：它们说明你有多少时间要和客户打交道。

内部数据管道教你把数据弄对。客户数据教你在数据还没弄对的时候，让系统依然有用。这正是企业愿意花钱派到现场的能力。

**本周动手试试:**

- 找一个从没见过的真实 CSV 或 Excel 文件，写一个接入步骤，返回两个列表：有效记录，以及附带错误原因的隔离记录。
- 读三份 FDE 招聘启事，划出“messy data”“reconciliation”“graceful degradation”这类表述，然后改写简历中的一行，证明你做过正是这样的工作。
- 为当前公司的某个数据源写一页数据发现文档：数据在哪个系统里、归谁负责、是什么格式，以及其中藏着哪些业务规则。

## 信源

- [Valdera - Forward Deployed Engineer](https://jobs.lever.co/valdera/d734a9de-3890-407c-b7ef-95576db4e604)

- [Forward Deployed Engineer (Rowspace)](https://talent.emcap.com/companies/rowspace/jobs/70242953-forward-deployed-engineer)

- [Forward Deployed Data Engineer (Vori, San Francisco, CA)](https://zerogtalent.com/space-jobs/vori/forward-deployed-data-engineer)

- [Palantir Technologies - Forward Deployed Software Engineer](https://jobs.lever.co/palantir/98b81271-9e15-40b7-8dce-0c62f24702f9)

- [What Is a Forward Deployed Engineer? GTM Guide for Startups](https://www.stackmatix.com/blog/forward-deployed-engineer)

- [What is a forward deployed engineer? A complete guide](https://www.paraform.com/insights/what-is-a-forward-deployed-engineer)
