# Redshift Serverless 上点了取消，账单照算

> 三大数仓计费口径各不相同，只有 BigQuery 能在超限查询产生费用前将其拦下，FDE 探查数据前须先设上限。

原文: https://fdetimes.net/zh/tools/warehouse-cost-guardrails-snowflake-bigquery-redshift/

AWS 关于 Redshift Serverless 的文档写得很明确：查询运行到一半被取消，已经运行的时间照样计费。

点了“取消”，这部分时间也不会从账单上消失。在客户现场，这可能就是一次普通的数据探查和一通尴尬的财务电话之间的区别。

前线部署工程师（FDE）到客户现场的第一天，通常会拿到数据仓库的只读权限，然后开始探查：统计表数量、查看数据分布、在几张大表之间试着做 join。Snowflake、BigQuery 和 Redshift 对这些操作的计费方式各不相同。要设对护栏，先得知道平台在计什么。

## 每个平台计的东西不一样

Snowflake 把成本分为三部分：计算、存储和数据传输。计算按 credit 计费，只要仓库在运行就会消耗 credit。存储按每 TB 每月的固定费率计费。

Snowflake 不对数据导入账户收费，但对数据流出（egress）收费。FDE 要记住，把大批数据导出到其他系统同样是一笔成本。

BigQuery 有两种模式。按需计费模式下，客户按每条查询处理的字节数付费。容量计费模式下，客户为每个工作负载预置以 slot 计的处理容量，可选自动扩缩容。

所以做 BigQuery 项目，第一个问题就是客户用哪种模式。这决定了你的查询是按扫描量花钱，还是占用其他团队也在用的那份容量。

Redshift 的计费取决于部署类型。预置集群按小时计费。Redshift Serverless 按 RPU 小时计费，按秒计量，最低按 60 秒计。如果查询通过 Redshift Spectrum 读取外部数据，客户还要为 Spectrum 扫描的字节数付费。

## BigQuery 在产生费用前就拒绝查询

三个平台中，BigQuery 的护栏最容易理解，因为它在查询运行之前生效。Google 建议先做试运行（dry run）或预览来估算成本。最大计费字节数（maximum bytes billed）是硬性拦截：如果预估字节数超过上限，查询直接失败，不产生费用。

举个例子。你把探查类查询的最大计费字节数设为 100 GB。同事写了一条连接两张事件表的查询，试运行预估为 1.5 TB。查询被拒绝，账单不变，你还有机会加上日期过滤条件再跑一次。

在项目层面，Google 建议设置自定义的每日查询配额，限制每天处理的数据量。这样就有了两层防护：最大计费字节数拦截单条查询，每日配额限制当天的总用量，即使有人写了个循环把查询跑上几百次也不怕。

注意，这两层都以字节为单位，所以主要在客户使用按需计费时才直接影响账单。如果客户用的是容量计费，要问清管理员你的查询跑在哪些 slot 上，以免挤占其他工作负载的容量。

## Snowflake 能止住花费，但只有特定的人能设置

Snowflake 的护栏是资源监视器（resource monitor），用来限制仓库可消耗的 credit。最严格的设置下，监视器可以立即挂起分配给它的所有标准仓库，并取消正在运行的语句。

只有 ACCOUNTADMIN 才能创建资源监视器，因此只有只读权限的 FDE 无法独自搭建这道护栏。第一周的任务，是约客户管理员的时间，为项目所用的仓库商定 credit 上限，以及达到上限时系统如何响应。

## Redshift：取消查询，不退已运行时间的费用

在 Redshift Serverless 上，取消查询只是让它不再继续运行。AWS 建议设置 RPU 小时上限作为成本护栏。用量限制有三种动作：记录日志、通过 SNS 发送告警，或关闭用户查询并发送通知。

比较稳妥的顺序是先开启 SNS 告警，再把关闭查询的阈值设得略高一些。告警给你留出应对时间，关闭查询则确保账单不超出约定阈值。

**要点:** 成本上限应该在第一周就定好，而不是等到复盘账单的会上再谈。

## 第一周常见的三个坑

第一个坑是和客户的生产数据管道共用一个仓库。在 Snowflake 上，硬性停止也会中断正在运行的作业，监视器设得太紧，可能会搞坏别人的工作。更稳妥的做法是为自己的工作申请一个专用仓库，把监视器分配给它。

第二个坑是把告警发到没人看的渠道。SNS 告警只有送到你和客户负责人每天都会看的地方，才有用。

第三个坑是把“取消”按钮当成安全网。在 Redshift Serverless 上，已经运行的时间照样计费，只有设好上限，才算真正有了保护。

## 先学什么

如果只有一周准备时间，从 BigQuery 开始。试运行和最大计费字节数能让你立刻看到预估成本，以及护栏如何生效。

然后阅读 Snowflake 资源监视器和 Redshift Serverless 用量限制的文档，弄清上限设在哪里、达到上限后各系统如何响应。

岗位描述里写着“Snowflake/BigQuery/Redshift”时，简历上别只写“精通 SQL”。像“在数据探查前，为客户的 BigQuery 项目设置了最大计费字节数和每日配额”这样一行，能让面试官看出你明白：在客户现场，成本是 FDE 的责任。

客户也许会忘掉一个精致的仪表盘，但很少会忘掉某个月因为外部人员的查询导致账单暴涨。

**本周动手试试:**

- 在自己的 BigQuery 项目中，对三条熟悉的查询做试运行，在正式运行前记下预估字节数
- 把最大计费字节数设得低于某条查询的预估值，观察查询被拒绝且不产生费用
- 起草一页项目启动清单：客户用哪个数据仓库、谁有管理员权限、每日上限是多少、告警发到哪里

## 信源

- [Understanding overall cost (Snowflake Documentation)](https://docs.snowflake.com/en/user-guide/cost-understanding-overall)

- [Working with resource monitors | Snowflake Documentation](https://docs.snowflake.com/en/user-guide/resource-monitors)

- [Introduction to workload management | BigQuery | Google Cloud Documentation](https://docs.cloud.google.com/bigquery/docs/reservations-intro)

- [Estimate and control costs | BigQuery | Google Cloud Documentation](https://docs.cloud.google.com/bigquery/docs/best-practices-costs)

- [Billing for Amazon Redshift Serverless](https://docs.aws.amazon.com/redshift/latest/mgmt/serverless-billing.html)

- [Setting usage limits, including setting RPU limits (Amazon Redshift Management Guide)](https://docs.aws.amazon.com/redshift/latest/mgmt/serverless-workgroup-max-rpu.html)

- [Amazon Redshift Pricing](https://aws.amazon.com/redshift/pricing/)
