# FDE 驻场首周都在接数据，Airbyte 能省下这段时间

> 600 多个标准连接器，取代驻场第三周就没人敢碰的临时 Python 脚本。

原文: https://fdetimes.net/zh/tools/airbyte-customer-data-integration-guide/

到客户现场的第一天，情况往往是这样的：CRM 跑在某个 SaaS 产品里，订单存在 Postgres 中，最关键的却是一个全公司只有一个人搞得懂的内部 API。大家都想看智能体演示，可智能体手里没有数据。最快的办法，就是先拼凑几个 Python 脚本。

到了第三周，这些脚本通常已经乱成一团，没人敢碰。

Airbyte 就是为取代这类脚本而生的。项目自称开源数据迁移平台，既服务于 ELT 数据管道，也服务于 AI 智能体。

对想成为前线部署工程师（FDE）的开发者来说，值得尽早学会它，因为它会改变你在客户现场分配时间的方式：自己写的连接代码更少，更多是把现成的连接器拼接起来，把时间留给客户真正需要解决的问题。

## Airbyte 简单来说做什么？

Airbyte 的一切都围绕两个概念展开：数据源（source）和目标端（destination）。Airbyte Protocol 为两者定义了一套标准接口。数据源负责把数据读出来；目标端是接收数据并写入存储的应用。由于遵循同一标准，连接器之间可以互换。

今天你可能写入 Postgres，下周改成客户刚采购的数据仓库，读取数据源的那部分却不用重写。

现成的连接器很多。GitHub README 列出了 600 多个连接器，覆盖 API、数据库、数据仓库、数据湖和 AI 应用；airbyte.com 的目录页则写的是 700 多个。所以客户报出自己用的系统时，先查目录，再打开编辑器。

部署方式有两种：自托管 Open Source 版本，或者使用 Airbyte Cloud。在客户现场，这个选择很少取决于技术偏好。客户不允许数据离开自己的基础设施，就自托管；客户需要马上跑起来、也接受外部服务，就用 Cloud。

## 先验证，再搭平台

在需求调研阶段，往往只需拉取少量真实数据，让客户看到智能体能跑起来。PyAirbyte 正是为此设计的。它是一个库，可以直接在 Python 代码中运行 Airbyte 连接器。如果不指定缓存，PyAirbyte 会使用本地 DuckDB 缓存。

下面是一个最小示例，用的是一个生成测试假数据的连接器：

```python
import airbyte as ab

source = ab.get_source(
    "source-faker",
    config={"count": 1000},
    install_if_missing=True,
)
source.check()
source.select_all_streams()

# 未传入 cache -> 数据写入本地 DuckDB
result = source.read()
```

这样就能在 notebook 里拿到可查询的数据，不用找任何人审批搭建数据仓库。等客户同意继续推进，合理的下一步是迁移到自托管 Airbyte 或 Cloud。

PyAirbyte 运行的是 Airbyte 同一套连接器，所以数据源配置大概率可以沿用。即便如此，在承诺交付日期之前，仍要在目标环境中测试连接器。

## 与客户数据打交道的一个下午

设想一家零售连锁企业，想让智能体回答订单相关的问题。订单表有数百万行，每天都有新数据写入，而这条数据管道现在要在客户环境里真正跑起来。

你配置一个指向该数据库的数据源，再配置一个供智能体读取的目标端，然后选择同步方式。Full Refresh 会重新读取整个数据源，再覆盖或追加到目标端；Incremental 只读取上次同步以来新增的记录。对于每天都在增长的表，Incremental 显然更合适。

文档里明确写着一点，很多人却仍会忽略：首次 Incremental 同步等同于一次 Full Refresh。第一次运行依然会拉取全部几百万行数据，所以要提前通知客户的基础设施团队，并安排在业务低峰时段执行。

接下来是那个内部 API，它肯定不在目录里。这时就轮到 Connector Builder 了，它是 Airbyte UI 中的一款无代码工具。Builder 是架在低代码 YAML 格式之上的一层 UI，最终产出的是一份 YAML 连接器定义，可以像其他配置文件一样阅读、修改并提交到代码仓库。

**要点:** Connector Builder 产出的是一份可读的 YAML 文件，你离开项目后，客户团队仍然可以继续修改。

## Airbyte 替你做不了的事

Airbyte 负责把数据从一处搬到另一处。它不会告诉你哪些表重要、每一列在业务上是什么含义，也不会告诉你数据有多脏。这些问题要靠客户调研来回答：坐到客户的用户身边，一直问到弄懂为止。

目录庞大，也不代表客户的每个系统都有连接器。系统越老旧、越是自研，越可能需要用到 Builder，而且客户的 API 文档还得你自己读。

新手常犯的几个错误：

| 常见错误 | 如何避免 |
|---|---|
| 以为首次 Incremental 同步只读新数据，于是在工作时间运行 | 首次运行仍会读取全部数据，应安排在低峰时段 |
| 对每天增长的表选择 Full Refresh | 只要能识别哪些记录是新的，就用 Incremental |
| 还没弄清什么算“新”记录，就开启 Incremental | 选择同步方式前，先向客户了解数据 |
| 把 PyAirbyte 的本地 DuckDB 文件当作长期存储 | 把它当作原型空间，推进到下一步时迁移到真正的目标端 |

## 先学什么，简历上写什么

如果你是想转型做 FDE 的开发者，建议按这个顺序学：先吃透数据源和目标端，跑通上面的 PyAirbyte 示例，弄清 Full Refresh 与 Incremental 的区别，再用 Builder 亲手构建至少一个连接器。

在岗位描述中，“数据集成”“ELT”“对接客户系统”这类说法，说明公司需要的正是这项技能。简历上不要只写“熟悉 Airbyte”，而要写清楚：你为一个目录中没有的 API 构建过连接器，并把一条数据管道从原型推进到了客户环境。

面试时，不要只列工具名称。要讲清楚你多快把真实系统的数据汇集到了一处，以及你为首次同步做了哪些准备。

**本周动手试试:**

- 安装 PyAirbyte，不声明缓存运行一个连接器，然后打开生成的 DuckDB 文件，看看数据是什么形式。
- 挑一个常用的公开 API，用 Connector Builder 为它构建连接器，再导出 YAML 文件逐段阅读。
- 在一张带有更新时间列的表上配置 Incremental 同步，运行两次，对比第一次和第二次读取的记录数。

## 信源

- [GitHub - airbytehq/airbyte: Open-source data movement for ELT pipelines and AI agents](https://github.com/airbytehq/airbyte)

- [Catalog of Data Integration Connectors | Airbyte](https://airbyte.com/connectors)

- [Connector Builder | Airbyte Docs](https://docs.airbyte.com/platform/connector-development/connector-builder-ui/overview)

- [Sync Modes](https://docs.airbyte.com/platform/using-airbyte/core-concepts/sync-modes)

- [Airbyte Protocol | Airbyte Docs](https://docs.airbyte.com/platform/understanding-airbyte/airbyte-protocol)

- [airbyte API documentation](https://airbytehq.github.io/PyAirbyte/airbyte.html)
