Agent 答错了,问题可能出在数据而非提示词
沿五个阶段从生成到服务追踪数据,FDE 需要的数据工程能力,到这一步就够了。
要点速览
- 数据要经过五个阶段:生成、存储、摄取、转换和服务。故障可能出在其中任何一个阶段。
- FDE 不需要像数据工程师那样搭建数据基础设施,但必须能读懂管道,并熟练编写 SQL。
- 据 FDE Academy 介绍,FDE 与数据工程师有两点不同:FDE 直接面对客户,而且要应对范围更广的系统。
设想你在一家配送公司驻场的第二周。你搭建的 Agent 报告说,岘港分公司 9 月没有一笔延迟订单。运营经理看了一眼屏幕,马上说不对:上周他们刚收到过配送延迟的投诉。
很多工程师的第一反应是改提示词,或者换个模型。但这个数字可能在模型看到之前就已经错了。它经过了一连串系统,链条上的任何一个阶段都可能丢数据。
你要做的,是沿着这条链倒推回去。这项技能不会让你成为数据工程师,但它决定了你站在客户面前时,是在瞎猜,还是能说出“问题在这里,今天就能修好”。
什么是数据工程,FDE 处在什么位置
IBM 将数据工程定义为设计和构建大规模采集、存储和分析数据的系统。按 IBM 的描述,数据工程师是负责构建和运行组织数据基础设施的软件工程师。
FDE Academy 认为数据工程是前线部署工程师(FDE)工作的核心,但也指出一个关键区别:数据工程师通常在内部工作,FDE 则直接面对客户。它还提到,数据工程师的排障思路可以直接沿用,但熟悉的系统范围必须扩大。
实际工作中,数据工程师深入掌握一套技术栈,通常是自己团队搭建的。FDE 每到一个客户都会遇到一套不同的技术栈,由别人搭建,而且必须足够快地理解它,才不会拖慢部署进度。
五个阶段,各问一个问题
据 Johnny Winter 对《Fundamentals of Data Engineering》的书评,这本书把数据生命周期分为五个阶段:生成、存储、摄取、转换和服务。这五个阶段也是你追踪故障的地图。
存储是其他所有阶段的基础,所以下表没有按书中的顺序排列,而是按排障时数据实际走过的路径:生成、摄取、存储、转换、服务。
生成发生在源系统中:ERP、移动应用、仓储软件。FDE 最先在这里接触客户数据,而这一阶段几乎总是归别人负责。
按 IBM 的描述,摄取是把来自多个来源的数据汇集到一个共享环境中。抽取、转换、加载(ETL)管道会自动完成数据抽取、格式标准化,并把数据加载进数据库。
存储是写入、组织和保护数据的硬件与软件。IBM 列出了三种类型:文件存储、块存储和对象存储。转换高度依赖 SQL。服务是数据到达使用者的环节:仪表盘、API,或者你的 Agent。
| 阶段 | FDE 在现场应该问什么 |
|---|---|
| 生成 | 哪个系统产生这些数据,归谁负责,最近有没有变动? |
| 摄取 | 数据怎么进来,多久一次,上一次运行成功了吗? |
| 存储 | 数据存放在哪里:数据库表、导出文件,还是对象存储? |
| 转换 | 是哪条 SQL 查询或哪个任务把原始数据变成了屏幕上的数字? |
| 服务 | 用户或 Agent 从哪个表、视图或 API 读取数据? |
追踪“没有延迟订单”这个数字
回到岘港分公司。你从最后一个阶段,也就是服务阶段开始:Agent 读取的是一个名为 late_orders_by_branch 的视图。打开视图定义,可以看到它按 branch_code 把 orders 和 branches 关联起来,再筛选出 delivered_at > promised_at 的订单。
两个嫌疑点立刻浮现。第一,关联会丢掉分公司编码匹配不上的订单。第二,尚未送达的订单 delivered_at 为空,与空值比较会把它们从结果中剔除,而这些恰恰是延迟最久的订单。
第一条检查针对嫌疑点一。(列别名用的是越南语:so_don 表示订单数,so_don_khop_chi_nhanh 表示匹配上分公司的订单数。)
SELECT o.branch_code,
COUNT(*) AS so_don,
COUNT(b.branch_code) AS so_don_khop_chi_nhanh
FROM orders o
LEFT JOIN branches b ON o.branch_code = b.branch_code
WHERE o.created_at >= '2026-09-01'
GROUP BY o.branch_code
ORDER BY so_don DESC;
假设结果中出现一个陌生编码,对应几百笔订单,而匹配列为零。这说明源系统改变了分公司编码的写法,而 branches 表里仍是旧编码。问题既不在 Agent,也不在视图的 SQL,而在生成阶段。
下这个结论之前,先按加载日期统计行数,排除摄取环节的问题,确认昨晚的导出任务确实运行了(假设表中有 loaded_at 列;ngay_nap 表示加载日期,so_dong 表示行数):
SELECT CAST(loaded_at AS DATE) AS ngay_nap,
COUNT(*) AS so_dong
FROM orders
GROUP BY CAST(loaded_at AS DATE)
ORDER BY ngay_nap DESC;
第三条查询处理剩下的嫌疑点。尚未送达但已过承诺时间的订单也应算作延迟,所以要把 promised_at 与当前时间比较(so_don_tre 表示延迟订单数)。
SELECT o.branch_code,
COUNT(*) AS so_don_tre
FROM orders o
WHERE o.created_at >= '2026-09-01'
AND (
o.delivered_at > o.promised_at
OR (o.delivered_at IS NULL AND o.promised_at < CURRENT_TIMESTAMP)
)
GROUP BY o.branch_code
ORDER BY so_don_tre DESC;
如果这条查询得出的岘港数字明显高于视图中的数字,你就找到了第二个故障,这次出在转换阶段。三条 SQL、不到一小时,你就能给运营经理一个明确的答复,还能说出 ERP 所属 IT 团队里该联系谁。
要掌握到什么程度?
Simplilearn 称 SQL 是数据工程师的基础技能。对 FDE 来说它更重要,因为它是读懂任何客户转换逻辑的通用语言。你需要熟练写出 JOIN、GROUP BY 和窗口函数,并能读懂别人写的上百行视图。
你不需要深入掌握基础设施的搭建和运维,比如调优集群或设计全企业级数据仓库。那是客户数据工程师的事。你的工作是用他们的语言和他们沟通,并准确指出哪里坏了。
书中还列出了贯穿整个生命周期的六条“暗流”:安全、数据管理、DataOps、数据架构、编排和软件工程。可以把它们当作界定范围的检查清单:谁有权查看这些数据,哪个任务在编排这条管道,管道失败时通知谁。
到了现场该做什么
第一周,只针对你的用例依赖的那条数据流梳理五个阶段,而不是整个公司。在每个阶段旁边写上负责人的名字。在客户现场,知道该问谁和知道该问什么同样重要。
接着,优先申请转换和服务阶段的读取权限,因为在这两处检查最快。提前准备好一组 SQL 检查:按加载日期统计行数、统计键匹配不上的记录数、统计关键列中的空值数。只要数据看起来不对,就跑一遍。
在别人负责的阶段发现故障时,不要悄悄在自己的代码里打补丁。带着能证明问题的 SQL 报告给负责人,然后再商定临时绕过方案。
常见错误
最常见的错误,是把最终表里的数据当作事实,把精力全花在修 AI 上。第二个错误,是在 Agent 代码里修补脏数据,结果源系统每变一次,你都得去改一处别人都不知道的地方。
第三个错误较少被提及:只懂一种存储。如果你只了解关系型数据库,一旦客户的数据散落在对象存储里的成千上万个文件中,你就会吃力。从数据工程转向 FDE 的人,需要补的正是这种系统广度。
如果你的目标是 FDE 岗位,可以留意职位描述中“integration”“data pipeline”“SQL”与“customer-facing”同时出现的情况。在简历上,用一句话写清你如何把一个故障从仪表盘一路追回源系统,比罗列一串工具更有说服力。
本周练习
找一份你工作中经常用的报表,挑出其中一个数字,沿五个阶段把它追回到产生它的系统。哪个阶段你解释不清,就是接下来该学的地方。
模型会越来越好。但客户数据仍会经过五个由不同人负责的阶段,能走通这整条路径的 FDE,永远是第一个被叫来的人。
这篇文章对你有帮助吗?
感谢你的反馈!
5 个信源
- What is data engineering? (IBM Think)
- Book review: Fundamentals of Data Engineering (Greyskull Analytics, Johnny Winter) · 2025-03-02
- What is data storage? (IBM Think) · 2021-06-08
- Data Engineer Skills: Roles and Responsibilities (Simplilearn) · 2026-08-11
- Data Engineer to Forward Deployed Engineer: Skills, Gaps, and Transition Guide (FDE Academy) · 2026-04-13