FDE Times 数据在招 FDE 职位 8840 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 53在招公司 185支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

工具

Redshift Serverless 上点了取消,账单照算

三大数仓计费口径各不相同,只有 BigQuery 能在超限查询产生费用前将其拦下,FDE 探查数据前须先设上限。

分享微博

要点速览

  • Snowflake 计算资源按 credit 计费,BigQuery 按需模式按处理字节数计费,Redshift Serverless 按秒计量 RPU 小时,最低按 60 秒计。
  • BigQuery 可以在查询运行前拒绝超限查询,不产生费用;Redshift Serverless 的查询即使取消,已运行的时间仍要计费。
  • Snowflake 资源监视器只有 ACCOUNTADMIN 才能创建,FDE 必须从一开始就申请权限或请客户管理员协助。
决策树:根据客户使用的数据仓库选择成本护栏。BigQuery:设置最大计费字节数,超限查询被拒绝且不计费(高亮显示)。Snowflake:资源监视器,只有 ACCOUNTADMIN 能创建。Redshift Serverless:以 RPU 小时设置用量限制,先触发 SNS 告警,再到达中止查询的阈值。
只有 BigQuery 能在查询花钱之前将其拦截。Snowflake 和 Redshift Serverless 必须预先设好上限,因为在 Redshift Serverless 上取消查询,不会退还已完成部分的费用。来源:文中引用的 Google Cloud、Snowflake 和 AWS 文档。

AWS 关于 Redshift Serverless 的文档写得很明确:查询运行到一半被取消,已经运行的时间照样计费。

点了“取消”,这部分时间也不会从账单上消失。在客户现场,这可能就是一次普通的数据探查和一通尴尬的财务电话之间的区别。

前线部署工程师(FDE)到客户现场的第一天,通常会拿到数据仓库的只读权限,然后开始探查:统计表数量、查看数据分布、在几张大表之间试着做 join。Snowflake、BigQuery 和 Redshift 对这些操作的计费方式各不相同。要设对护栏,先得知道平台在计什么。

每个平台计的东西不一样

Snowflake 把成本分为三部分:计算、存储和数据传输。计算按 credit 计费,只要仓库在运行就会消耗 credit。存储按每 TB 每月的固定费率计费。

Snowflake 不对数据导入账户收费,但对数据流出(egress)收费。FDE 要记住,把大批数据导出到其他系统同样是一笔成本。

BigQuery 有两种模式。按需计费模式下,客户按每条查询处理的字节数付费。容量计费模式下,客户为每个工作负载预置以 slot 计的处理容量,可选自动扩缩容。

所以做 BigQuery 项目,第一个问题就是客户用哪种模式。这决定了你的查询是按扫描量花钱,还是占用其他团队也在用的那份容量。

Redshift 的计费取决于部署类型。预置集群按小时计费。Redshift Serverless 按 RPU 小时计费,按秒计量,最低按 60 秒计。如果查询通过 Redshift Spectrum 读取外部数据,客户还要为 Spectrum 扫描的字节数付费。

BigQuery 在产生费用前就拒绝查询

三个平台中,BigQuery 的护栏最容易理解,因为它在查询运行之前生效。Google 建议先做试运行(dry run)或预览来估算成本。最大计费字节数(maximum bytes billed)是硬性拦截:如果预估字节数超过上限,查询直接失败,不产生费用。

举个例子。你把探查类查询的最大计费字节数设为 100 GB。同事写了一条连接两张事件表的查询,试运行预估为 1.5 TB。查询被拒绝,账单不变,你还有机会加上日期过滤条件再跑一次。

在项目层面,Google 建议设置自定义的每日查询配额,限制每天处理的数据量。这样就有了两层防护:最大计费字节数拦截单条查询,每日配额限制当天的总用量,即使有人写了个循环把查询跑上几百次也不怕。

注意,这两层都以字节为单位,所以主要在客户使用按需计费时才直接影响账单。如果客户用的是容量计费,要问清管理员你的查询跑在哪些 slot 上,以免挤占其他工作负载的容量。

Snowflake 能止住花费,但只有特定的人能设置

Snowflake 的护栏是资源监视器(resource monitor),用来限制仓库可消耗的 credit。最严格的设置下,监视器可以立即挂起分配给它的所有标准仓库,并取消正在运行的语句。

只有 ACCOUNTADMIN 才能创建资源监视器,因此只有只读权限的 FDE 无法独自搭建这道护栏。第一周的任务,是约客户管理员的时间,为项目所用的仓库商定 credit 上限,以及达到上限时系统如何响应。

Redshift:取消查询,不退已运行时间的费用

在 Redshift Serverless 上,取消查询只是让它不再继续运行。AWS 建议设置 RPU 小时上限作为成本护栏。用量限制有三种动作:记录日志、通过 SNS 发送告警,或关闭用户查询并发送通知。

比较稳妥的顺序是先开启 SNS 告警,再把关闭查询的阈值设得略高一些。告警给你留出应对时间,关闭查询则确保账单不超出约定阈值。

第一周常见的三个坑

第一个坑是和客户的生产数据管道共用一个仓库。在 Snowflake 上,硬性停止也会中断正在运行的作业,监视器设得太紧,可能会搞坏别人的工作。更稳妥的做法是为自己的工作申请一个专用仓库,把监视器分配给它。

第二个坑是把告警发到没人看的渠道。SNS 告警只有送到你和客户负责人每天都会看的地方,才有用。

第三个坑是把“取消”按钮当成安全网。在 Redshift Serverless 上,已经运行的时间照样计费,只有设好上限,才算真正有了保护。

先学什么

如果只有一周准备时间,从 BigQuery 开始。试运行和最大计费字节数能让你立刻看到预估成本,以及护栏如何生效。

然后阅读 Snowflake 资源监视器和 Redshift Serverless 用量限制的文档,弄清上限设在哪里、达到上限后各系统如何响应。

岗位描述里写着“Snowflake/BigQuery/Redshift”时,简历上别只写“精通 SQL”。像“在数据探查前,为客户的 BigQuery 项目设置了最大计费字节数和每日配额”这样一行,能让面试官看出你明白:在客户现场,成本是 FDE 的责任。

客户也许会忘掉一个精致的仪表盘,但很少会忘掉某个月因为外部人员的查询导致账单暴涨。

这篇文章对你有帮助吗?

7 个信源
路线图上的下一篇 · 阶段 5: 部署上线客户禁用云端 API,演示只能靠一台笔记本Ollama 和 LM Studio 的差别不在模型,而在断网后的表现,这决定你能否过客户安全团队这一关。