Dynamic Tables 值不值?把管道建两遍便知
增量刷新让成本随数据变化速度而非表大小增长;用两种方式各建一遍 Snowflake 管道,才看清各自要你管什么。

要点速览
- Dynamic table 把一条 SELECT 的结果存成表,并自动保持更新。INCREMENTAL 模式下,每次刷新只处理变化的行。
- Streams 和 Tasks 给你完全的控制权,代价是 offset、调度、MERGE 和过期的 stream 都得自己管。
- Snowflake 建议新的 SQL 管道使用 dynamic table。只有需要 MERGE、存储过程或调用外部函数时,才改用 streams 和 tasks。
Snowflake 的决策指南称,一张 dynamic table 把四个对象和全部 MERGE 逻辑压缩进一条 SELECT 定义。这听起来像营销文案。检验这一说法的最好办法,是把同一条管道用两种方式各建一遍,比较每种方式留给你处理的事情。
对前线部署工程师(FDE)来说,这个场景并不陌生。客户有一张每小时都在增长的订单表,还有一个每晚从头重算的营收看板。他们希望数据更新鲜,又不想增加计算账单。读完本文,你会拥有这条管道的两个版本,并知道该推荐哪一个。
准备工作: 一个有权限创建 table、stream、task 和 dynamic table 的 Snowflake 账号;一个小型 warehouse(本文称为 transform_wh);一张源表 raw_orders,包含 store_id、order_ts 和 amount 三列。场景为假设,代码已做精简,便于理解。
为什么“增量”决定了成本?
Snowflake 在 2022 年推出 Dynamic Tables 时,把增量处理列为最大的挑战。原因在于:采用增量刷新时,成本随输入数据的变化速度增长,而不是随表的大小增长。
举个假设的例子。一张表有 1000 万行,每小时新增 2 万行。全量重算每次都要读 1000 万行,增量运行只需处理约 2 万行新数据。第一次和客户开工作会时,就要问清这个数字。
第 1 步:一条 SELECT,一张 dynamic table
根据 Snowflake 文档,dynamic table 把一条 SELECT 的结果存成表,并自动保持结果最新。TARGET_LAG 是表内容允许落后于源表的最长时间,WAREHOUSE 是执行刷新的 warehouse。
CREATE OR REPLACE DYNAMIC TABLE daily_revenue
TARGET_LAG = '5 minutes'
WAREHOUSE = transform_wh
REFRESH_MODE = INCREMENTAL
AS
SELECT store_id,
DATE(order_ts) AS order_date,
SUM(amount) AS revenue,
COUNT(*) AS orders
FROM raw_orders
GROUP BY store_id, DATE(order_ts);
刷新模式有三种。INCREMENTAL 只处理上次刷新以来变化的行;FULL 全部重算;AUTO 模式下,系统默认尝试增量刷新。上例显式写明 INCREMENTAL,让你清楚自己选了什么。如果想交给系统决定,改成 AUTO 即可。
验证方法: 向 raw_orders 插入几行,等过一个 TARGET_LAG 周期,再对 daily_revenue 执行 SELECT。相应门店的营收应该已经增加,而你没有运行任何其他命令。
TARGET_LAG 还接受另一个值 DOWNSTREAM,当其他 dynamic table 开始读取 daily_revenue 时会用到。在客户的链式表上使用之前,先仔细阅读 CREATE DYNAMIC TABLE 文档中对其工作方式的说明。
第 2 步:用 stream 手工重建
现在不用 dynamic table,把完全相同的逻辑重建一遍。stream 从某个 offset 开始,记录源表上的数据操作语言(DML)变更。
CREATE OR REPLACE STREAM raw_orders_stream ON TABLE raw_orders;
CREATE OR REPLACE TABLE daily_revenue_manual (
store_id INT, order_date DATE, revenue NUMBER, orders INT
);
验证方法,以及第一个坑: 向 raw_orders 插入三行,然后连续执行两次 SELECT * FROM raw_orders_stream。两次都会返回同样的三行,因为查询 stream 不会推进 offset。只有当 stream 用在 DML 事务(例如 MERGE 或 INSERT)中时,offset 才会前移。
新手常以为对 stream 执行过 SELECT 就算“读过”了。实际上数据仍在那里,等待某条 DML 语句来消费。
第 3 步:一个 task 加一段 MERGE
task 可以按计划运行,也可以由事件触发,比如 stream 有了新数据。这里把两者结合起来:task 每 5 分钟调度一次,但只有 SYSTEM$STREAM_HAS_DATA 返回 true 时才真正执行。
CREATE OR REPLACE TASK merge_daily_revenue
WAREHOUSE = transform_wh
SCHEDULE = '5 MINUTE'
WHEN SYSTEM$STREAM_HAS_DATA('raw_orders_stream')
AS
MERGE INTO daily_revenue_manual t
USING (
SELECT store_id, DATE(order_ts) AS order_date,
SUM(amount) AS revenue, COUNT(*) AS orders
FROM raw_orders_stream
GROUP BY store_id, DATE(order_ts)
) s
ON t.store_id = s.store_id AND t.order_date = s.order_date
WHEN MATCHED THEN UPDATE SET
revenue = t.revenue + s.revenue,
orders = t.orders + s.orders
WHEN NOT MATCHED THEN INSERT (store_id, order_date, revenue, orders)
VALUES (s.store_id, s.order_date, s.revenue, s.orders);
这段 MERGE 做了简化,假设 raw_orders 只有插入。如果客户的数据有更新或删除,你必须为每种变更类型自行编写额外逻辑。而这正是 dynamic table 替你完成的工作。
第二个坑: 新建的 task 一律处于挂起状态。在你执行下面这条命令之前,它不会按计划运行。
ALTER TASK merge_daily_revenue RESUME;
验证方法: 再插入一些数据,等一个周期,然后把 daily_revenue_manual 与第 1 步的 daily_revenue 对比,两张表的数字应该一致。接着再对 stream 执行一次 SELECT:这次结果应为空,因为 MERGE 已经推进了 offset。
第三个坑只在生产环境出现
当 stream 的 offset 落到源表数据保留期之外时,stream 就会过期。设想一个 task 在长假期间一直挂起,没人注意到。等大家回来时,offset 可能已经滑出保留窗口,stream 也就过期了。
所以,如果为客户选择 streams 和 tasks,从第一天起就要把 task 状态和 stream 过期纳入告警。别等到客户的看板停止更新才发现。
该向客户推荐哪种方案?
Snowflake 的决策指南说得相当明确:多表的新 SQL 管道,优先用 dynamic table;管道需要存储过程、MERGE 或调用外部函数时,选 streams 和 tasks。
Snowflake 2022 年介绍 Dynamic Tables 的博文还补充了一条标准:需要完全掌控增量处理时,选 streams 和 tasks。Data Engineer Academy 的一篇分析概括了其中的取舍:放弃一部分底层控制,换来少搭很多“管道活”。
| 需求调研问题 | 如果客户回答“是” |
|---|---|
| 逻辑只有 SELECT、JOIN、GROUP BY? | Dynamic table |
| 有步骤需要调用 API 或外部函数? | Streams 和 Tasks |
| 运维团队规模小,不愿维护很多对象? | Dynamic table |
| 需要精确决定 MERGE 何时、如何执行? | Streams 和 Tasks |
和客户的第一次沟通,先问两个问题:数据变化有多快?数字最多能滞后多久?第二个问题的答案,几乎就是你要设置的 TARGET_LAG 值。
把这次练习变成简历上的证据
不要只写自己“会 Snowflake”。要展示你权衡过不同方案:把两个版本放进一个 repo,附一份简短的 README,说明三个坑以及各自适用的理由。
简历上写一句“将一条管道从全量重算改为增量处理,并制定了 dynamic table 与 stream–task 的选型标准”,比罗列一串工具更有说服力。
阅读岗位描述时,留意“incremental”“CDC”(变更数据捕获)或“data freshness”这类字眼。它们说明这个岗位会让你面对刚刚练过的这道选择题。
下次客户要一个“实时看板”时,你会有一个更诚实的回答:所谓实时,往往只是双方约定好的一个 TARGET_LAG 值。
这篇文章对你有帮助吗?
感谢你的反馈!
7 个信源
- Dynamic tables (Snowflake Documentation)
- CREATE DYNAMIC TABLE (Snowflake Documentation)
- Introduction to Streams (Snowflake Documentation)
- Introduction to tasks (Snowflake Documentation)
- Decision guide for dynamic tables (Snowflake Documentation)
- Dynamic Tables: Delivering Declarative Streaming Data Pipelines · 2022-11-08
- Snowflake Dynamic Tables Explained for Data Engineers · 2026-06-07