FDE Times 数据在招 FDE 职位 881▼8 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 55在招公司 185支持远程 25%美国薪资中位数 $201k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

Dynamic Tables 值不值?把管道建两遍便知

增量刷新让成本随数据变化速度而非表大小增长;用两种方式各建一遍 Snowflake 管道,才看清各自要你管什么。

在 Snowflake 上用两种方式构建增量管道:Dynamic Tables,或 Streams 加 Tasks
图片:Raysonho @ Open Grid Scheduler / Scalable Grid Engine / CC0
分享微博

要点速览

  • Dynamic table 把一条 SELECT 的结果存成表,并自动保持更新。INCREMENTAL 模式下,每次刷新只处理变化的行。
  • Streams 和 Tasks 给你完全的控制权,代价是 offset、调度、MERGE 和过期的 stream 都得自己管。
  • Snowflake 建议新的 SQL 管道使用 dynamic table。只有需要 MERGE、存储过程或调用外部函数时,才改用 streams 和 tasks。
决策树:如果管道需要外部函数、存储过程或自定义 MERGE 逻辑,选 Streams 和 Tasks,即四个对象加一段手写 MERGE,并为挂起的 task 和过期的 stream 设置告警;否则选 dynamic table,只需一条 SELECT 语句。
新的 SQL 管道优先用 dynamic table。只有需要存储过程、自定义 MERGE、外部函数或完全掌控增量处理时,才选 streams 和 tasks;这种情况下,从第一天起就把 task 状态和 stream 过期纳入告警。来源:Snowflake 决策指南;Snowflake 2022 年介绍 Dynamic Tables 的博文。

Snowflake 的决策指南称,一张 dynamic table 把四个对象和全部 MERGE 逻辑压缩进一条 SELECT 定义。这听起来像营销文案。检验这一说法的最好办法,是把同一条管道用两种方式各建一遍,比较每种方式留给你处理的事情。

对前线部署工程师(FDE)来说,这个场景并不陌生。客户有一张每小时都在增长的订单表,还有一个每晚从头重算的营收看板。他们希望数据更新鲜,又不想增加计算账单。读完本文,你会拥有这条管道的两个版本,并知道该推荐哪一个。

准备工作: 一个有权限创建 table、stream、task 和 dynamic table 的 Snowflake 账号;一个小型 warehouse(本文称为 transform_wh);一张源表 raw_orders,包含 store_id、order_ts 和 amount 三列。场景为假设,代码已做精简,便于理解。

为什么“增量”决定了成本?

Snowflake 在 2022 年推出 Dynamic Tables 时,把增量处理列为最大的挑战。原因在于:采用增量刷新时,成本随输入数据的变化速度增长,而不是随表的大小增长。

举个假设的例子。一张表有 1000 万行,每小时新增 2 万行。全量重算每次都要读 1000 万行,增量运行只需处理约 2 万行新数据。第一次和客户开工作会时,就要问清这个数字。

第 1 步:一条 SELECT,一张 dynamic table

根据 Snowflake 文档,dynamic table 把一条 SELECT 的结果存成表,并自动保持结果最新。TARGET_LAG 是表内容允许落后于源表的最长时间,WAREHOUSE 是执行刷新的 warehouse。

CREATE OR REPLACE DYNAMIC TABLE daily_revenue
  TARGET_LAG = '5 minutes'
  WAREHOUSE = transform_wh
  REFRESH_MODE = INCREMENTAL
AS
SELECT store_id,
       DATE(order_ts) AS order_date,
       SUM(amount)    AS revenue,
       COUNT(*)       AS orders
FROM raw_orders
GROUP BY store_id, DATE(order_ts);

刷新模式有三种。INCREMENTAL 只处理上次刷新以来变化的行;FULL 全部重算;AUTO 模式下,系统默认尝试增量刷新。上例显式写明 INCREMENTAL,让你清楚自己选了什么。如果想交给系统决定,改成 AUTO 即可。

验证方法: 向 raw_orders 插入几行,等过一个 TARGET_LAG 周期,再对 daily_revenue 执行 SELECT。相应门店的营收应该已经增加,而你没有运行任何其他命令。

TARGET_LAG 还接受另一个值 DOWNSTREAM,当其他 dynamic table 开始读取 daily_revenue 时会用到。在客户的链式表上使用之前,先仔细阅读 CREATE DYNAMIC TABLE 文档中对其工作方式的说明。

第 2 步:用 stream 手工重建

现在不用 dynamic table,把完全相同的逻辑重建一遍。stream 从某个 offset 开始,记录源表上的数据操作语言(DML)变更。

CREATE OR REPLACE STREAM raw_orders_stream ON TABLE raw_orders;

CREATE OR REPLACE TABLE daily_revenue_manual (
  store_id INT, order_date DATE, revenue NUMBER, orders INT
);

验证方法,以及第一个坑: 向 raw_orders 插入三行,然后连续执行两次 SELECT * FROM raw_orders_stream。两次都会返回同样的三行,因为查询 stream 不会推进 offset。只有当 stream 用在 DML 事务(例如 MERGE 或 INSERT)中时,offset 才会前移。

新手常以为对 stream 执行过 SELECT 就算“读过”了。实际上数据仍在那里,等待某条 DML 语句来消费。

第 3 步:一个 task 加一段 MERGE

task 可以按计划运行,也可以由事件触发,比如 stream 有了新数据。这里把两者结合起来:task 每 5 分钟调度一次,但只有 SYSTEM$STREAM_HAS_DATA 返回 true 时才真正执行。

CREATE OR REPLACE TASK merge_daily_revenue
  WAREHOUSE = transform_wh
  SCHEDULE = '5 MINUTE'
  WHEN SYSTEM$STREAM_HAS_DATA('raw_orders_stream')
AS
MERGE INTO daily_revenue_manual t
USING (
  SELECT store_id, DATE(order_ts) AS order_date,
         SUM(amount) AS revenue, COUNT(*) AS orders
  FROM raw_orders_stream
  GROUP BY store_id, DATE(order_ts)
) s
ON t.store_id = s.store_id AND t.order_date = s.order_date
WHEN MATCHED THEN UPDATE SET
  revenue = t.revenue + s.revenue,
  orders  = t.orders + s.orders
WHEN NOT MATCHED THEN INSERT (store_id, order_date, revenue, orders)
  VALUES (s.store_id, s.order_date, s.revenue, s.orders);

这段 MERGE 做了简化,假设 raw_orders 只有插入。如果客户的数据有更新或删除,你必须为每种变更类型自行编写额外逻辑。而这正是 dynamic table 替你完成的工作。

第二个坑: 新建的 task 一律处于挂起状态。在你执行下面这条命令之前,它不会按计划运行。

ALTER TASK merge_daily_revenue RESUME;

验证方法: 再插入一些数据,等一个周期,然后把 daily_revenue_manual 与第 1 步的 daily_revenue 对比,两张表的数字应该一致。接着再对 stream 执行一次 SELECT:这次结果应为空,因为 MERGE 已经推进了 offset。

第三个坑只在生产环境出现

当 stream 的 offset 落到源表数据保留期之外时,stream 就会过期。设想一个 task 在长假期间一直挂起,没人注意到。等大家回来时,offset 可能已经滑出保留窗口,stream 也就过期了。

所以,如果为客户选择 streams 和 tasks,从第一天起就要把 task 状态和 stream 过期纳入告警。别等到客户的看板停止更新才发现。

该向客户推荐哪种方案?

Snowflake 的决策指南说得相当明确:多表的新 SQL 管道,优先用 dynamic table;管道需要存储过程、MERGE 或调用外部函数时,选 streams 和 tasks。

Snowflake 2022 年介绍 Dynamic Tables 的博文还补充了一条标准:需要完全掌控增量处理时,选 streams 和 tasks。Data Engineer Academy 的一篇分析概括了其中的取舍:放弃一部分底层控制,换来少搭很多“管道活”。

需求调研问题 如果客户回答“是”
逻辑只有 SELECT、JOIN、GROUP BY? Dynamic table
有步骤需要调用 API 或外部函数? Streams 和 Tasks
运维团队规模小,不愿维护很多对象? Dynamic table
需要精确决定 MERGE 何时、如何执行? Streams 和 Tasks

和客户的第一次沟通,先问两个问题:数据变化有多快?数字最多能滞后多久?第二个问题的答案,几乎就是你要设置的 TARGET_LAG 值。

把这次练习变成简历上的证据

不要只写自己“会 Snowflake”。要展示你权衡过不同方案:把两个版本放进一个 repo,附一份简短的 README,说明三个坑以及各自适用的理由。

简历上写一句“将一条管道从全量重算改为增量处理,并制定了 dynamic table 与 stream–task 的选型标准”,比罗列一串工具更有说服力。

阅读岗位描述时,留意“incremental”“CDC”(变更数据捕获)或“data freshness”这类字眼。它们说明这个岗位会让你面对刚刚练过的这道选择题。

下次客户要一个“实时看板”时,你会有一个更诚实的回答:所谓实时,往往只是双方约定好的一个 TARGET_LAG 值。

这篇文章对你有帮助吗?

7 个信源
路线图上的下一篇 · 阶段 2: 全栈工程能力客户 AWS 里的 AccessDenied,通常藏在六个地方客户的信任策略和你方 IAM 策略都得放行;ExternalId 防的是混淆代理,不是密码。