FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

Agent 答错了,问题可能出在数据而非提示词

沿五个阶段从生成到服务追踪数据,FDE 需要的数据工程能力,到这一步就够了。

分享微博

要点速览

  • 数据要经过五个阶段:生成、存储、摄取、转换和服务。故障可能出在其中任何一个阶段。
  • FDE 不需要像数据工程师那样搭建数据基础设施,但必须能读懂管道,并熟练编写 SQL。
  • 据 FDE Academy 介绍,FDE 与数据工程师有两点不同:FDE 直接面对客户,而且要应对范围更广的系统。
示意图从左到右排列数据生命周期的五个阶段:生成、摄取、存储、转换、服务,数据从左向右流动。一条橙色虚线箭头从 Agent 读取视图的服务阶段反向指回生成阶段。生成阶段被突出标示,因为故障就在这里:源系统改变了分公司编码的记录方式。
在岘港分公司的例子中,Agent 给出了错误答案,但问题不在模型。从 Agent 读取的视图倒推回源系统后发现,ERP 改变了分公司编码的记录方式,而 branches 表里仍是旧编码。五个阶段的划分参照《Fundamentals of Data Engineering》一书。

设想你在一家配送公司驻场的第二周。你搭建的 Agent 报告说,岘港分公司 9 月没有一笔延迟订单。运营经理看了一眼屏幕,马上说不对:上周他们刚收到过配送延迟的投诉。

很多工程师的第一反应是改提示词,或者换个模型。但这个数字可能在模型看到之前就已经错了。它经过了一连串系统,链条上的任何一个阶段都可能丢数据。

你要做的,是沿着这条链倒推回去。这项技能不会让你成为数据工程师,但它决定了你站在客户面前时,是在瞎猜,还是能说出“问题在这里,今天就能修好”。

什么是数据工程,FDE 处在什么位置

IBM 将数据工程定义为设计和构建大规模采集、存储和分析数据的系统。按 IBM 的描述,数据工程师是负责构建和运行组织数据基础设施的软件工程师。

FDE Academy 认为数据工程是前线部署工程师(FDE)工作的核心,但也指出一个关键区别:数据工程师通常在内部工作,FDE 则直接面对客户。它还提到,数据工程师的排障思路可以直接沿用,但熟悉的系统范围必须扩大。

实际工作中,数据工程师深入掌握一套技术栈,通常是自己团队搭建的。FDE 每到一个客户都会遇到一套不同的技术栈,由别人搭建,而且必须足够快地理解它,才不会拖慢部署进度。

五个阶段,各问一个问题

据 Johnny Winter 对《Fundamentals of Data Engineering》的书评,这本书把数据生命周期分为五个阶段:生成、存储、摄取、转换和服务。这五个阶段也是你追踪故障的地图。

存储是其他所有阶段的基础,所以下表没有按书中的顺序排列,而是按排障时数据实际走过的路径:生成、摄取、存储、转换、服务。

生成发生在源系统中:ERP、移动应用、仓储软件。FDE 最先在这里接触客户数据,而这一阶段几乎总是归别人负责。

按 IBM 的描述,摄取是把来自多个来源的数据汇集到一个共享环境中。抽取、转换、加载(ETL)管道会自动完成数据抽取、格式标准化,并把数据加载进数据库。

存储是写入、组织和保护数据的硬件与软件。IBM 列出了三种类型:文件存储、块存储和对象存储。转换高度依赖 SQL。服务是数据到达使用者的环节:仪表盘、API,或者你的 Agent。

阶段 FDE 在现场应该问什么
生成 哪个系统产生这些数据,归谁负责,最近有没有变动?
摄取 数据怎么进来,多久一次,上一次运行成功了吗?
存储 数据存放在哪里:数据库表、导出文件,还是对象存储?
转换 是哪条 SQL 查询或哪个任务把原始数据变成了屏幕上的数字?
服务 用户或 Agent 从哪个表、视图或 API 读取数据?

追踪“没有延迟订单”这个数字

回到岘港分公司。你从最后一个阶段,也就是服务阶段开始:Agent 读取的是一个名为 late_orders_by_branch 的视图。打开视图定义,可以看到它按 branch_code 把 orders 和 branches 关联起来,再筛选出 delivered_at > promised_at 的订单。

两个嫌疑点立刻浮现。第一,关联会丢掉分公司编码匹配不上的订单。第二,尚未送达的订单 delivered_at 为空,与空值比较会把它们从结果中剔除,而这些恰恰是延迟最久的订单。

第一条检查针对嫌疑点一。(列别名用的是越南语:so_don 表示订单数,so_don_khop_chi_nhanh 表示匹配上分公司的订单数。)

SELECT o.branch_code,
       COUNT(*)              AS so_don,
       COUNT(b.branch_code)  AS so_don_khop_chi_nhanh
FROM orders o
LEFT JOIN branches b ON o.branch_code = b.branch_code
WHERE o.created_at >= '2026-09-01'
GROUP BY o.branch_code
ORDER BY so_don DESC;

假设结果中出现一个陌生编码,对应几百笔订单,而匹配列为零。这说明源系统改变了分公司编码的写法,而 branches 表里仍是旧编码。问题既不在 Agent,也不在视图的 SQL,而在生成阶段。

下这个结论之前,先按加载日期统计行数,排除摄取环节的问题,确认昨晚的导出任务确实运行了(假设表中有 loaded_at 列;ngay_nap 表示加载日期,so_dong 表示行数):

SELECT CAST(loaded_at AS DATE) AS ngay_nap,
       COUNT(*)                AS so_dong
FROM orders
GROUP BY CAST(loaded_at AS DATE)
ORDER BY ngay_nap DESC;

第三条查询处理剩下的嫌疑点。尚未送达但已过承诺时间的订单也应算作延迟,所以要把 promised_at 与当前时间比较(so_don_tre 表示延迟订单数)。

SELECT o.branch_code,
       COUNT(*) AS so_don_tre
FROM orders o
WHERE o.created_at >= '2026-09-01'
  AND (
        o.delivered_at > o.promised_at
     OR (o.delivered_at IS NULL AND o.promised_at < CURRENT_TIMESTAMP)
  )
GROUP BY o.branch_code
ORDER BY so_don_tre DESC;

如果这条查询得出的岘港数字明显高于视图中的数字,你就找到了第二个故障,这次出在转换阶段。三条 SQL、不到一小时,你就能给运营经理一个明确的答复,还能说出 ERP 所属 IT 团队里该联系谁。

要掌握到什么程度?

Simplilearn 称 SQL 是数据工程师的基础技能。对 FDE 来说它更重要,因为它是读懂任何客户转换逻辑的通用语言。你需要熟练写出 JOIN、GROUP BY 和窗口函数,并能读懂别人写的上百行视图。

你不需要深入掌握基础设施的搭建和运维,比如调优集群或设计全企业级数据仓库。那是客户数据工程师的事。你的工作是用他们的语言和他们沟通,并准确指出哪里坏了。

书中还列出了贯穿整个生命周期的六条“暗流”:安全、数据管理、DataOps、数据架构、编排和软件工程。可以把它们当作界定范围的检查清单:谁有权查看这些数据,哪个任务在编排这条管道,管道失败时通知谁。

到了现场该做什么

第一周,只针对你的用例依赖的那条数据流梳理五个阶段,而不是整个公司。在每个阶段旁边写上负责人的名字。在客户现场,知道该问谁和知道该问什么同样重要。

接着,优先申请转换和服务阶段的读取权限,因为在这两处检查最快。提前准备好一组 SQL 检查:按加载日期统计行数、统计键匹配不上的记录数、统计关键列中的空值数。只要数据看起来不对,就跑一遍。

在别人负责的阶段发现故障时,不要悄悄在自己的代码里打补丁。带着能证明问题的 SQL 报告给负责人,然后再商定临时绕过方案。

常见错误

最常见的错误,是把最终表里的数据当作事实,把精力全花在修 AI 上。第二个错误,是在 Agent 代码里修补脏数据,结果源系统每变一次,你都得去改一处别人都不知道的地方。

第三个错误较少被提及:只懂一种存储。如果你只了解关系型数据库,一旦客户的数据散落在对象存储里的成千上万个文件中,你就会吃力。从数据工程转向 FDE 的人,需要补的正是这种系统广度。

如果你的目标是 FDE 岗位,可以留意职位描述中“integration”“data pipeline”“SQL”与“customer-facing”同时出现的情况。在简历上,用一句话写清你如何把一个故障从仪表盘一路追回源系统,比罗列一串工具更有说服力。

本周练习

找一份你工作中经常用的报表,挑出其中一个数字,沿五个阶段把它追回到产生它的系统。哪个阶段你解释不清,就是接下来该学的地方。

模型会越来越好。但客户数据仍会经过五个由不同人负责的阶段,能走通这整条路径的 FDE,永远是第一个被叫来的人。

这篇文章对你有帮助吗?

5 个信源
路线图上的下一篇 · 阶段 2: 全栈工程能力客户要的是 AI 打标签,不是新的事件架构在现有队列上加一个消费者就够了,前提是不重复扣费、不掩盖失败、不引发事件风暴。