FDE 离场前,客户现场的 SQL 要先配齐 git 和测试
dbt 给普通 SELECT 语句加上版本控制、测试和文档,FDE 走后,客户的分析师也能维护数据管道。
要点速览
- dbt 把普通 SELECT 语句组织成模块化模型,配有版本控制、CI/CD 和文档
- 测试查询不返回问题行即为通过;增量模型和快照用来处理大表和频繁变化的表
- v2 一代用 Rust 编写,能在 SQL 到达数据仓库之前发现错误,运行时基于 Apache 2.0 开源协议
dbt 测试的 SQL 不返回任何行,测试就算通过。这听起来有点反直觉,却正好体现了这款工具的思路:查询专门用来搜寻问题数据,没有结果就是好消息。
对前线部署工程师(FDE)来说,这个小细节很能说明问题。设想你在客户现场,面对一个堆满原始表的数据仓库,你的产品要从中读出干净的数字。项目在你离开后能否继续运转,靠的不是 SQL 写得多巧妙,而是这些 SQL 怎么管理。
dbt 的开发团队 dbt Labs 把它描述为一款把数据仓库中的原始数据转换成可信数据产品的工具。机制很简单:你写普通的 SELECT 语句,dbt 把它们组装成模块化、易维护的模型。
dbt 和一个装满脚本的文件夹的区别,在于 SELECT 之外的那一整套东西:把版本控制、CI/CD 和文档用到分析代码上,让团队里任何懂 SQL 的人都能参与生产环境的数据管道。
为什么 FDE 比企业内部的数据工程师更需要它?
看一个常见场景。客户有一张原始订单表和一张经常变动的客户表,希望你的产品每天早上都能读到干净的数据。最快的办法是写几个 SQL 脚本,挂到 cron 上,然后飞回家。三个月后,有人手动改了一列,管道断了,没人知道原因。
dbt 就是为了避免这种情况。逻辑放在有版本管理的模型里,每次改动都有历史记录、有人审查,进入生产环境前还要跑测试。这正是它适合 FDE 的原因:你要交付的是客户分析师自己能修的东西,而不是只有你看得懂的东西。
留在现场的 SQL 脚本
- 逻辑分散,没人知道谁改了什么
- 客户看到错误数字时才发现问题
- 只有原作者敢动
dbt 项目
- 每个模型都是有版本管理、经过审查的 SELECT
- 搜寻问题行的测试在上生产前运行
- 客户团队里懂 SQL 的人都能修改
最小示例:从模型到快照
先写第一个模型:文件 stg_orders.sql,里面只有一条 SELECT,从原始表取出 id、customer_id、amount 和 status,并统一列名。没有 CREATE TABLE,也没有 DDL,这些繁重的工作交给 dbt。
接下来是测试。dbt 自带四种通用测试:unique、not_null、accepted_values 和 relationships。你声明 id 必须唯一且非空,status 只能取几个预定义的值,customer_id 必须存在于客户表中。每个测试都是一条查找违规行的查询;没有返回结果,管道就继续往下走。
当客户的订单表涨到数亿行,就把模型改成增量模型(incremental)。首次运行之后,dbt 只转换新增或变更的行。dbt 文档明确写道,这样可以限制需要处理的数据量,大幅缩短运行时间。计算账单上涨时,客户最先问的正是这件事。
客户表里的地址和服务套餐会随时间变化,这时要用快照(snapshot)。快照在可变的源表上实现类型 2 缓慢变化维度(SCD):每当某行发生变化,旧版本都会保留下来。客户问“这个账户上个月用的是哪个套餐?”时,你拿得出数据,而不是只能耸耸肩。
新一代 dbt 在错误到达数据仓库之前就能发现它
当前一代 dbt 称为 v2,用 Rust 编写,能理解不同引擎的 SQL 方言。实际效果是:SQL 语句到达数据仓库之前,它就能发现错误。在客户现场,每次运行失败都既耗计算资源又损信任,这是最有价值的功能。
v2 是安装 dbt 时的默认体验,构建在 Apache 2.0 许可的开源 CLI 运行时之上。dbt 免费使用,登录 dbt 平台账号后可解锁部分功能。
要向客户坦白的局限
dbt 的起点是已经在数据仓库里的原始数据,dbt Labs 自己也是这样描述的。所以在写第一个模型之前,先问客户:源数据是否已经进入数据仓库,又是怎么进去的?这个问题不在 dbt 管理的 SELECT 语句范围之内。
测试只能发现你声明过的问题。四种内置测试检查的是结构,不是含义:负数收入照样能通过 not_null。你需要额外编写业务测试,最好和客户方面最懂这些数据的人一起写。
增量模型只处理新增或变更的行,所以要一开始就和客户商定:在他们的系统里,什么样的行算“新”。把它当作需要和客户讨论的设计决策,而不是一行配置。
先学什么
扎实的 SQL 是前提,不是优势。真正需要练的是 SQL 之外的工程规范:git、代码审查、自动化测试。简历上写“为客户表搭建了带测试和快照的 dbt 项目”,比写“精通 SQL”更有说服力。
看岗位描述时,如果“analytics engineering”“data model”“warehouse”这类词和 FDE 一起出现,就说明你该准备好一个自己做过的 dbt 项目的故事。
设想面试官给你一张原始订单表,问你到现场第一周会做什么。可信的回答不是“写 SQL”,而是把整个循环讲一遍:一个 SELECT 模型、四种测试、给会变化的表做快照,再解释为什么客户的分析师必须能自己修。
练习在五分钟内讲完这个故事,并且电脑上要有一个真实项目。
客户不会记得你写的 SQL。他们会记得,你走了很久之后,管道还在运行,测试依然安静。
这篇文章对你有帮助吗?
感谢你的反馈!
6 个信源
- What is dbt? | dbt Developer Hub
- Add data tests to your DAG | dbt Developer Hub
- Configure incremental models | dbt Developer Hub
- Add snapshots to your DAG | dbt Developer Hub
- dbt Labs and Fivetran merge announcement (dbt Labs blog) · 2025-10-13
- What is dbt? | dbt Developer Hub (page at the about-fusion URL, last updated Sep 10, 2026) · 2026-09-10