# Agent 答错了，问题可能出在数据而非提示词

> 沿五个阶段从生成到服务追踪数据，FDE 需要的数据工程能力，到这一步就够了。

原文: https://fdetimes.net/zh/guides/data-lifecycle-five-stages-fde/

设想你在一家配送公司驻场的第二周。你搭建的 Agent 报告说，岘港分公司 9 月没有一笔延迟订单。运营经理看了一眼屏幕，马上说不对：上周他们刚收到过配送延迟的投诉。

很多工程师的第一反应是改提示词，或者换个模型。但这个数字可能在模型看到之前就已经错了。它经过了一连串系统，链条上的任何一个阶段都可能丢数据。

你要做的，是沿着这条链倒推回去。这项技能不会让你成为数据工程师，但它决定了你站在客户面前时，是在瞎猜，还是能说出“问题在这里，今天就能修好”。

## 什么是数据工程，FDE 处在什么位置

IBM 将数据工程定义为设计和构建大规模采集、存储和分析数据的系统。按 IBM 的描述，数据工程师是负责构建和运行组织数据基础设施的软件工程师。

FDE Academy 认为数据工程是前线部署工程师（FDE）工作的核心，但也指出一个关键区别：数据工程师通常在内部工作，FDE 则直接面对客户。它还提到，数据工程师的排障思路可以直接沿用，但熟悉的系统范围必须扩大。

实际工作中，数据工程师深入掌握一套技术栈，通常是自己团队搭建的。FDE 每到一个客户都会遇到一套不同的技术栈，由别人搭建，而且必须足够快地理解它，才不会拖慢部署进度。

## 五个阶段，各问一个问题

据 Johnny Winter 对《Fundamentals of Data Engineering》的书评，这本书把数据生命周期分为五个阶段：生成、存储、摄取、转换和服务。这五个阶段也是你追踪故障的地图。

存储是其他所有阶段的基础，所以下表没有按书中的顺序排列，而是按排障时数据实际走过的路径：生成、摄取、存储、转换、服务。

生成发生在源系统中：ERP、移动应用、仓储软件。FDE 最先在这里接触客户数据，而这一阶段几乎总是归别人负责。

按 IBM 的描述，摄取是把来自多个来源的数据汇集到一个共享环境中。抽取、转换、加载（ETL）管道会自动完成数据抽取、格式标准化，并把数据加载进数据库。

存储是写入、组织和保护数据的硬件与软件。IBM 列出了三种类型：文件存储、块存储和对象存储。转换高度依赖 SQL。服务是数据到达使用者的环节：仪表盘、API，或者你的 Agent。

| 阶段 | FDE 在现场应该问什么 |
|---|---|
| 生成 | 哪个系统产生这些数据，归谁负责，最近有没有变动？ |
| 摄取 | 数据怎么进来，多久一次，上一次运行成功了吗？ |
| 存储 | 数据存放在哪里：数据库表、导出文件，还是对象存储？ |
| 转换 | 是哪条 SQL 查询或哪个任务把原始数据变成了屏幕上的数字？ |
| 服务 | 用户或 Agent 从哪个表、视图或 API 读取数据？ |

## 追踪“没有延迟订单”这个数字

回到岘港分公司。你从最后一个阶段，也就是服务阶段开始：Agent 读取的是一个名为 `late_orders_by_branch` 的视图。打开视图定义，可以看到它按 `branch_code` 把 `orders` 和 `branches` 关联起来，再筛选出 `delivered_at > promised_at` 的订单。

两个嫌疑点立刻浮现。第一，关联会丢掉分公司编码匹配不上的订单。第二，尚未送达的订单 `delivered_at` 为空，与空值比较会把它们从结果中剔除，而这些恰恰是延迟最久的订单。

第一条检查针对嫌疑点一。（列别名用的是越南语：`so_don` 表示订单数，`so_don_khop_chi_nhanh` 表示匹配上分公司的订单数。）

```sql
SELECT o.branch_code,
       COUNT(*)              AS so_don,
       COUNT(b.branch_code)  AS so_don_khop_chi_nhanh
FROM orders o
LEFT JOIN branches b ON o.branch_code = b.branch_code
WHERE o.created_at >= '2026-09-01'
GROUP BY o.branch_code
ORDER BY so_don DESC;
```

假设结果中出现一个陌生编码，对应几百笔订单，而匹配列为零。这说明源系统改变了分公司编码的写法，而 `branches` 表里仍是旧编码。问题既不在 Agent，也不在视图的 SQL，而在生成阶段。

下这个结论之前，先按加载日期统计行数，排除摄取环节的问题，确认昨晚的导出任务确实运行了（假设表中有 `loaded_at` 列；`ngay_nap` 表示加载日期，`so_dong` 表示行数）：

```sql
SELECT CAST(loaded_at AS DATE) AS ngay_nap,
       COUNT(*)                AS so_dong
FROM orders
GROUP BY CAST(loaded_at AS DATE)
ORDER BY ngay_nap DESC;
```

第三条查询处理剩下的嫌疑点。尚未送达但已过承诺时间的订单也应算作延迟，所以要把 `promised_at` 与当前时间比较（`so_don_tre` 表示延迟订单数）。

```sql
SELECT o.branch_code,
       COUNT(*) AS so_don_tre
FROM orders o
WHERE o.created_at >= '2026-09-01'
  AND (
        o.delivered_at > o.promised_at
     OR (o.delivered_at IS NULL AND o.promised_at < CURRENT_TIMESTAMP)
  )
GROUP BY o.branch_code
ORDER BY so_don_tre DESC;
```

如果这条查询得出的岘港数字明显高于视图中的数字，你就找到了第二个故障，这次出在转换阶段。三条 SQL、不到一小时，你就能给运营经理一个明确的答复，还能说出 ERP 所属 IT 团队里该联系谁。

**要点:** 数字出错时，先从屏幕一路追回数据源，再考虑动模型。

## 要掌握到什么程度？

Simplilearn 称 SQL 是数据工程师的基础技能。对 FDE 来说它更重要，因为它是读懂任何客户转换逻辑的通用语言。你需要熟练写出 JOIN、GROUP BY 和窗口函数，并能读懂别人写的上百行视图。

你不需要深入掌握基础设施的搭建和运维，比如调优集群或设计全企业级数据仓库。那是客户数据工程师的事。你的工作是用他们的语言和他们沟通，并准确指出哪里坏了。

书中还列出了贯穿整个生命周期的六条“暗流”：安全、数据管理、DataOps、数据架构、编排和软件工程。可以把它们当作界定范围的检查清单：谁有权查看这些数据，哪个任务在编排这条管道，管道失败时通知谁。

## 到了现场该做什么

第一周，只针对你的用例依赖的那条数据流梳理五个阶段，而不是整个公司。在每个阶段旁边写上负责人的名字。在客户现场，知道该问谁和知道该问什么同样重要。

接着，优先申请转换和服务阶段的读取权限，因为在这两处检查最快。提前准备好一组 SQL 检查：按加载日期统计行数、统计键匹配不上的记录数、统计关键列中的空值数。只要数据看起来不对，就跑一遍。

在别人负责的阶段发现故障时，不要悄悄在自己的代码里打补丁。带着能证明问题的 SQL 报告给负责人，然后再商定临时绕过方案。

## 常见错误

最常见的错误，是把最终表里的数据当作事实，把精力全花在修 AI 上。第二个错误，是在 Agent 代码里修补脏数据，结果源系统每变一次，你都得去改一处别人都不知道的地方。

第三个错误较少被提及：只懂一种存储。如果你只了解关系型数据库，一旦客户的数据散落在对象存储里的成千上万个文件中，你就会吃力。从数据工程转向 FDE 的人，需要补的正是这种系统广度。

如果你的目标是 FDE 岗位，可以留意职位描述中“integration”“data pipeline”“SQL”与“customer-facing”同时出现的情况。在简历上，用一句话写清你如何把一个故障从仪表盘一路追回源系统，比罗列一串工具更有说服力。

## 本周练习

找一份你工作中经常用的报表，挑出其中一个数字，沿五个阶段把它追回到产生它的系统。哪个阶段你解释不清，就是接下来该学的地方。

模型会越来越好。但客户数据仍会经过五个由不同人负责的阶段，能走通这整条路径的 FDE，永远是第一个被叫来的人。

**本周动手试试:**

- 选一个公司里的仪表盘或报表，梳理它的五个数据阶段，并写下每个阶段的负责人。
- 写一条使用 LEFT JOIN 的 SQL 查询，统计你每天使用的两张表之间键匹配不上的记录数。
- 在简历上加一行，描述你曾把一个数据故障从用户屏幕一路追回源系统的经历。

## 信源

- [What is data engineering? (IBM Think)](https://www.ibm.com/think/topics/data-engineering)

- [Book review: Fundamentals of Data Engineering (Greyskull Analytics, Johnny Winter)](https://greyskullanalytics.substack.com/p/book-review-fundamentals-of-data)

- [What is data storage? (IBM Think)](https://www.ibm.com/think/topics/data-storage)

- [Data Engineer Skills: Roles and Responsibilities (Simplilearn)](https://www.simplilearn.com/data-engineer-role-article)

- [Data Engineer to Forward Deployed Engineer: Skills, Gaps, and Transition Guide (FDE Academy)](https://fde.academy/blog/data-engineer-to-forward-deployed-engineer)
