FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

凌晨 2 点一次重试,可能让 AI 助手的数据翻倍

Airflow 要求任务无论运行多少次结果都相同,这条四任务 ELT 管道按此设计。

分享微博

要点速览

  • 每个任务重跑时都必须得到相同结果,因为任务失败后 Airflow 可能会重试。
  • 只拉取恰好一天的数据,并整体替换恰好那一天的分区。永远不要追加。
  • DAG 文件保持轻量,数据推送到远程存储,用 schedule 参数设置调度。
横向条形图,展示分区 dt=2026-10-07 中的工单数量。替换写入且只运行一次时,分区有 1,000 条工单;追加写入且重试一次时,数量翻倍到 2,000 条,这一条以橙色突出显示;替换写入且运行三次时,分区仍为 1,000 条。
整体替换运行日期对应的分区,无论任务重跑多少次,数量都保持 1,000 条工单;追加写入则每重试一次就多一份副本。来源:文中示例。

Airflow 的最佳实践文档里有一句话,值得打印出来贴在屏幕旁:任务失败时 Airflow 可能会重试,因此无论运行多少次,任务都必须产生相同的结果。这听起来理所当然,却决定了下面整条管道的设计方式。

设想这样一个场景:客户有一个 AI 助手,基于工单和产品文档回答客服人员的问题。

数据需要每晚刷新。假设 load 任务在凌晨 2 点重试,把 1,000 条工单变成了 2,000 条。第二天早上,助手引用重复内容、数错数量,用户对它的信任随之下降。

本指南将演示如何搭建这条管道,让它可以安全地重跑任意次数。AI 助手只能根据提供给它的数据作答。想成为前线部署工程师(FDE),这项技能值得在去客户现场之前先练熟。

要搭建什么?

Airflow 是一个用于构建和运行工作流的平台。每个工作流表示为一个有向无环图(DAG),由多个任务(Task)组成。DAG 定义任务之间的依赖关系,依赖关系又决定任务的执行顺序。

本指南中的 DAG 包含四个依次执行的任务。extract 拉取恰好一天的工单,load 把原始数据推送到远程存储,transform 对数据做规范化,refresh_index 刷新助手读取的知识源。先加载原始数据、再做转换,这就是 ELT:原始数据先落到中心存储,之后再规范化。

动手之前,需要一个可用的本地 Airflow 环境、基础的 Python 能力,以及一个 S3 类的远程存储。下面的代码是用于说明设计思路的简化版本。除 schedule 外,导入路径、Operator 名称和参数在不同版本间有差异,请对照已安装 Airflow 版本的文档核实。

第 1 步:为什么 DAG 文件必须轻量?

Airflow 的调度器既要按计划触发工作流,又要把任务交给执行器。为此,它必须读取(解析)DAG 文件。Airflow 文档说得很明确:DAG 文件的顶层不得访问数据库、不得做繁重计算,也不得发起网络调用。

# 错误:调度器每次解析文件时都会执行这条查询,而不是在任务运行时执行
rows = source_db.query("SELECT * FROM tickets")

# 正确:所有 I/O 都放在函数内部,只在任务执行时运行
def extract(run_date: str):
    ...

**检查:**打开 DAG 文件,从头读到尾。除了 import、常量声明和函数定义,不应有任何一行访问数据库或 API。

第 2 步:只拉取一天的数据

Astronomer 的文档建议,尽可能把管道拆成增量抽取和增量加载。这样出错时,只需重新处理受影响的数据。对每晚同步来说,最自然的单位就是一天。

# sync_utils.py:纯 Python 逻辑,无需 Airflow 即可测试
def extract_window(run_date: str) -> tuple[str, str]:
    return f"{run_date} 00:00:00", f"{run_date} 23:59:59"

def raw_path(run_date: str) -> str:
    # "acme-raw" 这个 bucket 只是示例
    return f"s3://acme-raw/tickets/dt={run_date}/part.jsonl"

关键在于,数据窗口按本次运行的日期计算,而不是按“现在”计算。今天重跑 10 月 7 日的任务,拉取的仍然恰好是 10 月 7 日的工单,不会混入 10 月 8 日的数据。

**检查:**在两个不同时间分别调用 extract_window("2026-10-07"),结果必须完全一致。

第 3 步:替换写入,而不是追加

回到 1,000 条工单变成 2,000 条的例子。如果 load 往一张共享表里追加数据,每次重试都会多出一份副本。如果 load 整体替换恰好 dt=2026-10-07 这个分区,那么无论任务运行一次还是三次,该分区都是 1,000 行。

def load(run_date: str, rows: list[dict]):
    # storage 是一个假想的远程存储客户端(S3 或同类服务)
    storage.put(raw_path(run_date), rows, overwrite=True)

数据必须写到远程存储,不能留在本地磁盘,因为在 Airflow 中,每个任务可能运行在不同的机器上。extract 在机器 A 上写进 /tmp 的文件,等 transform 在机器 B 上运行时根本不存在。Airflow 文档不建议把文件或配置存放在本地文件系统,并建议把大数据量放到 S3 这类存储中。

**检查:**写一个测试,用同一个 run_date 调用两次 load,然后统计行数。如果行数翻倍,说明任务还不是幂等的。

第 4 步:转换数据并刷新助手的数据源

transform 从 raw_path(run_date) 读取数据,做清洗(去掉空字段、统一格式),再把结果写入同样按日期划分的“干净”分区。随后,refresh_index 按同一原则更新 AI 助手查询的知识源:替换当天的数据,而不是插入重复记录。

据 Astronomer 介绍,幂等的 DAG 和任务能缩短故障后的恢复时间,并防止数据丢失。在客户现场,好处很具体:数据源团队说刚修复了 10 月 5 日的问题,只需重跑那一天,而不必清空一切、从头重新同步。

第 5 步:把运行时间定在凌晨 2 点

调度通过 DAG 的 schedule 参数设置,可以是 cron 表达式、timedelta 或预设值。每到调度时间,Airflow 都会创建一个对应的 Dag Run,并保存在后端数据库中。

# nightly_sync.py:简化骨架,请对照所用版本核实 import
with DAG(
    dag_id="nightly_assistant_sync",
    schedule="0 2 * * *",   # cron:每天凌晨 2 点
    start_date=datetime(2026, 10, 1),
) as dag:
    extract_task >> load_task >> transform_task >> refresh_index_task

第 2 步和第 3 步中的函数应从当前 Dag Run 获取 run_date,而不是读取系统时钟。任务读取 Dag Run 日期的方式因 Airflow 版本而异,请查阅已安装版本的文档。

所有幂等性都建立在这一选择之上:重跑某个 Dag Run,处理的恰好是该 Dag Run 的日期。

**检查:**第一晚运行后,打开 Airflow UI,确认出现了一个新的 Dag Run,且四个任务全部成功。然后手动重跑同一个 Dag Run,确认行数没有变化。

客户现场常见的三个错误

最常见的错误是用“当前时间”计算数据窗口,例如 WHERE updated_at > now() - 1 day。任务准时运行时没问题,可一旦在早上 9 点重试,窗口就已偏移,数据会丢失或重复,而且不会报任何错。

第二个错误是在顶层放重逻辑,通常是因为有人想“从数据库取出表清单,动态生成任务”。第三个错误是把中间文件写到本地磁盘:在笔记本上运行正常,一到客户的多 worker 环境就出问题。

从笔记本到客户现场

本指南中的管道只是数据工程的一小部分。IBM 对数据工程的定义是:设计和构建用于大规模收集、存储和分析数据的系统。

FDE 岗位描述里提到“数据管道”“Airflow”或“与客户系统集成”时,真正想问的是:你能否在客户的真实系统上交付这一部分。

所以简历上不要只写“用过 Airflow”。要写清楚:你设计了一条按日期分区的增量管道,可以重跑任意单日而不产生重复数据。这句话说明你理解客户真正担心的事:一个晚上出错,第二天早上用户就会看到助手给出错误答案。

第一天到客户那里,不要急着问“用哪个模型?”。先问:“如果今晚的任务失败了,明天早上怎么重跑?”

这篇文章对你有帮助吗?

5 个信源
路线图上的下一篇 · 阶段 2: 全栈工程能力只会 Python,照样读懂客户的陌生代码库别按字母顺序翻文件,先看清单、入口和一个 API 处理函数,再顺着请求追到数据库,Go、Java、Node.js 皆然。