# Dynamic Tables 值不值？把管道建两遍便知

> 增量刷新让成本随数据变化速度而非表大小增长；用两种方式各建一遍 Snowflake 管道，才看清各自要你管什么。

原文: https://fdetimes.net/zh/guides/snowflake-dynamic-tables-vs-streams-tasks/

Snowflake 的决策指南称，一张 dynamic table 把四个对象和全部 MERGE 逻辑压缩进一条 SELECT 定义。这听起来像营销文案。检验这一说法的最好办法，是把同一条管道用两种方式各建一遍，比较每种方式留给你处理的事情。

对前线部署工程师（FDE）来说，这个场景并不陌生。客户有一张每小时都在增长的订单表，还有一个每晚从头重算的营收看板。他们希望数据更新鲜，又不想增加计算账单。读完本文，你会拥有这条管道的两个版本，并知道该推荐哪一个。

**准备工作：** 一个有权限创建 table、stream、task 和 dynamic table 的 Snowflake 账号；一个小型 warehouse（本文称为 `transform_wh`）；一张源表 `raw_orders`，包含 `store_id`、`order_ts` 和 `amount` 三列。场景为假设，代码已做精简，便于理解。

## 为什么“增量”决定了成本？

Snowflake 在 2022 年推出 Dynamic Tables 时，把增量处理列为最大的挑战。原因在于：采用增量刷新时，成本随输入数据的变化速度增长，而不是随表的大小增长。

举个假设的例子。一张表有 1000 万行，每小时新增 2 万行。全量重算每次都要读 1000 万行，增量运行只需处理约 2 万行新数据。第一次和客户开工作会时，就要问清这个数字。

## 第 1 步：一条 SELECT，一张 dynamic table

根据 Snowflake 文档，dynamic table 把一条 SELECT 的结果存成表，并自动保持结果最新。`TARGET_LAG` 是表内容允许落后于源表的最长时间，`WAREHOUSE` 是执行刷新的 warehouse。

```sql
CREATE OR REPLACE DYNAMIC TABLE daily_revenue
  TARGET_LAG = '5 minutes'
  WAREHOUSE = transform_wh
  REFRESH_MODE = INCREMENTAL
AS
SELECT store_id,
       DATE(order_ts) AS order_date,
       SUM(amount)    AS revenue,
       COUNT(*)       AS orders
FROM raw_orders
GROUP BY store_id, DATE(order_ts);
```

刷新模式有三种。`INCREMENTAL` 只处理上次刷新以来变化的行；`FULL` 全部重算；`AUTO` 模式下，系统默认尝试增量刷新。上例显式写明 `INCREMENTAL`，让你清楚自己选了什么。如果想交给系统决定，改成 `AUTO` 即可。

**验证方法：** 向 `raw_orders` 插入几行，等过一个 `TARGET_LAG` 周期，再对 `daily_revenue` 执行 `SELECT`。相应门店的营收应该已经增加，而你没有运行任何其他命令。

`TARGET_LAG` 还接受另一个值 `DOWNSTREAM`，当其他 dynamic table 开始读取 `daily_revenue` 时会用到。在客户的链式表上使用之前，先仔细阅读 `CREATE DYNAMIC TABLE` 文档中对其工作方式的说明。

## 第 2 步：用 stream 手工重建

现在不用 dynamic table，把完全相同的逻辑重建一遍。stream 从某个 offset 开始，记录源表上的数据操作语言（DML）变更。

```sql
CREATE OR REPLACE STREAM raw_orders_stream ON TABLE raw_orders;

CREATE OR REPLACE TABLE daily_revenue_manual (
  store_id INT, order_date DATE, revenue NUMBER, orders INT
);
```

**验证方法，以及第一个坑：** 向 `raw_orders` 插入三行，然后连续执行两次 `SELECT * FROM raw_orders_stream`。两次都会返回同样的三行，因为查询 stream 不会推进 offset。只有当 stream 用在 DML 事务（例如 MERGE 或 INSERT）中时，offset 才会前移。

新手常以为对 stream 执行过 SELECT 就算“读过”了。实际上数据仍在那里，等待某条 DML 语句来消费。

## 第 3 步：一个 task 加一段 MERGE

task 可以按计划运行，也可以由事件触发，比如 stream 有了新数据。这里把两者结合起来：task 每 5 分钟调度一次，但只有 `SYSTEM$STREAM_HAS_DATA` 返回 true 时才真正执行。

```sql
CREATE OR REPLACE TASK merge_daily_revenue
  WAREHOUSE = transform_wh
  SCHEDULE = '5 MINUTE'
  WHEN SYSTEM$STREAM_HAS_DATA('raw_orders_stream')
AS
MERGE INTO daily_revenue_manual t
USING (
  SELECT store_id, DATE(order_ts) AS order_date,
         SUM(amount) AS revenue, COUNT(*) AS orders
  FROM raw_orders_stream
  GROUP BY store_id, DATE(order_ts)
) s
ON t.store_id = s.store_id AND t.order_date = s.order_date
WHEN MATCHED THEN UPDATE SET
  revenue = t.revenue + s.revenue,
  orders  = t.orders + s.orders
WHEN NOT MATCHED THEN INSERT (store_id, order_date, revenue, orders)
  VALUES (s.store_id, s.order_date, s.revenue, s.orders);
```

这段 MERGE 做了简化，假设 `raw_orders` 只有插入。如果客户的数据有更新或删除，你必须为每种变更类型自行编写额外逻辑。而这正是 dynamic table 替你完成的工作。

**第二个坑：** 新建的 task 一律处于挂起状态。在你执行下面这条命令之前，它不会按计划运行。

```sql
ALTER TASK merge_daily_revenue RESUME;
```

**验证方法：** 再插入一些数据，等一个周期，然后把 `daily_revenue_manual` 与第 1 步的 `daily_revenue` 对比，两张表的数字应该一致。接着再对 stream 执行一次 SELECT：这次结果应为空，因为 MERGE 已经推进了 offset。

## 第三个坑只在生产环境出现

当 stream 的 offset 落到源表数据保留期之外时，stream 就会过期。设想一个 task 在长假期间一直挂起，没人注意到。等大家回来时，offset 可能已经滑出保留窗口，stream 也就过期了。

所以，如果为客户选择 streams 和 tasks，从第一天起就要把 task 状态和 stream 过期纳入告警。别等到客户的看板停止更新才发现。

## 该向客户推荐哪种方案？

Snowflake 的决策指南说得相当明确：多表的新 SQL 管道，优先用 dynamic table；管道需要存储过程、MERGE 或调用外部函数时，选 streams 和 tasks。

Snowflake 2022 年介绍 Dynamic Tables 的博文还补充了一条标准：需要完全掌控增量处理时，选 streams 和 tasks。Data Engineer Academy 的一篇分析概括了其中的取舍：放弃一部分底层控制，换来少搭很多“管道活”。

| 需求调研问题 | 如果客户回答“是” |
|---|---|
| 逻辑只有 SELECT、JOIN、GROUP BY？ | Dynamic table |
| 有步骤需要调用 API 或外部函数？ | Streams 和 Tasks |
| 运维团队规模小，不愿维护很多对象？ | Dynamic table |
| 需要精确决定 MERGE 何时、如何执行？ | Streams 和 Tasks |

和客户的第一次沟通，先问两个问题：数据变化有多快？数字最多能滞后多久？第二个问题的答案，几乎就是你要设置的 `TARGET_LAG` 值。

**要点:** 讨论工具之前，先问客户能接受多大的数据延迟。

## 把这次练习变成简历上的证据

不要只写自己“会 Snowflake”。要展示你权衡过不同方案：把两个版本放进一个 repo，附一份简短的 README，说明三个坑以及各自适用的理由。

简历上写一句“将一条管道从全量重算改为增量处理，并制定了 dynamic table 与 stream–task 的选型标准”，比罗列一串工具更有说服力。

阅读岗位描述时，留意“incremental”“CDC”（变更数据捕获）或“data freshness”这类字眼。它们说明这个岗位会让你面对刚刚练过的这道选择题。

下次客户要一个“实时看板”时，你会有一个更诚实的回答：所谓实时，往往只是双方约定好的一个 `TARGET_LAG` 值。

**本周动手试试:**

- 在 Snowflake 试用账号上创建一张 raw_orders 表，按本文步骤分别搭建 dynamic table 和 stream–task 组合
- 对 stream 连续执行两次 SELECT，再执行一条使用该 stream 的 INSERT，记下 offset 何时发生变化
- 在工作中找一条每晚重算整张表的批处理管道，尝试把它改写成 dynamic table 定义

## 信源

- [Dynamic tables (Snowflake Documentation)](https://docs.snowflake.com/en/user-guide/dynamic-tables-about)

- [CREATE DYNAMIC TABLE (Snowflake Documentation)](https://docs.snowflake.com/en/sql-reference/sql/create-dynamic-table)

- [Introduction to Streams (Snowflake Documentation)](https://docs.snowflake.com/en/user-guide/streams-intro)

- [Introduction to tasks (Snowflake Documentation)](https://docs.snowflake.com/en/user-guide/tasks-intro)

- [Decision guide for dynamic tables (Snowflake Documentation)](https://docs.snowflake.com/en/user-guide/dynamic-tables/decision-guide)

- [Dynamic Tables: Delivering Declarative Streaming Data Pipelines](https://www.snowflake.com/en/blog/dynamic-tables-delivering-declarative-streaming-data-pipelines/)

- [Snowflake Dynamic Tables Explained for Data Engineers](https://dataengineeracademy.com/blog/snowflake-dynamic-tables-explained-for-data-engineers/)
